Token, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.
Token ne demek?
Model metni harf harf ya da kelime kelime değil, token token okur ve üretir. İngilizcede bir token ortalama dört karaktere denk gelir; Türkçe gibi eklemeli dillerde kelimeler genellikle birden fazla tokene bölündüğü için aynı metin daha fazla token tutar.
Token sayısı üç şeyi doğrudan belirler: modelin bir seferde ne kadar metin okuyabileceği (bağlam penceresi), cevabın en fazla ne kadar uzun olabileceği ve API kullanırken ödenecek ücret.
Örnek
"Yapay zekâ harika" cümlesi, kullanılan modele göre 5 ile 8 arası tokene bölünebilir.
Prompt yazarken
Uzun belgeleri modele vermeden önce gereksiz kısımları ayıkla; daha az token hem daha ucuz hem de modelin önemli kısma odaklanması için daha iyidir.
Prompt Sihirbazı ile dene