Konumsal kodlama, transformer modellerine her tokenin cümledeki sırasını bildirmek için token temsillerine eklenen bilgidir.
Konumsal Kodlama ne demek?
Öz dikkat tüm tokenleri aynı anda işlediği için kendi başına kelime sırasını bilemez; "köpek adamı ısırdı" ile "adam köpeği ısırdı" arasındaki farkı konumsal bilgi sağlar. Güncel modeller RoPE gibi yöntemler kullanır; bunlar daha uzun bağlam pencerelerine genişletmeyi de kolaylaştırır.
Yakın kavramlar
Öz DikkatSelf-attentionÖz dikkat, bir dizideki her öğenin aynı dizideki diğer tüm öğelerle ilişkisini hesaplayan dikkat türüdür.Derin Öğrenme & Sinir AğlarıTransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.Dil Modelleri & Üretken YZBağlam PenceresiContext WindowBağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.Dil Modelleri & Üretken YZ