Tokenizasyon, metnin dil modelinin işleyebileceği tokenlere bölünmesi işlemidir.
Tokenizasyon ne demek?
Her model ailesi kendi tokenizer'ını kullanır; bu yüzden aynı metin farklı modellerde farklı sayıda token tutar. Yaygın yöntemler (BPE gibi) sık geçen harf gruplarını tek token yapar, nadir kelimeleri ise parçalara ayırır.
Tokenizasyon, modellerin bazı garip hatalarının da sebebidir: kelimeyi harflerine göre değil token parçalarına göre gördükleri için harf sayma ya da kelimeyi tersten yazma gibi işlerde zorlanabilirler.
Yakın kavramlar
TokenToken, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.Dil Modelleri & Üretken YZBağlam PenceresiContext WindowBağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.Dil Modelleri & Üretken YZDoğal Dil İşlemeNLP · Natural Language ProcessingDoğal dil işleme (NLP), bilgisayarların insan dilini anlaması, yorumlaması ve üretmesiyle ilgilenen yapay zekâ alanıdır.Temel Kavramlar