Dikkat mekanizması, bir modelin bir öğeyi işlerken girdinin diğer bölümlerinden hangilerinin daha önemli olduğunu ağırlıklandırarak odaklanmasını sağlayan yöntemdir.
Dikkat Mekanizması ne demek?
"Bankaya oturdu" ile "bankaya para yatırdı" cümlelerinde "banka" kelimesinin anlamı, dikkatin "oturdu" ya da "para" kelimesine yönelmesiyle netleşir. Model her kelime için diğer tüm kelimelere bir önem puanı hesaplar.
Transformer mimarisinin kalbidir; bağlam penceresi büyüdükçe dikkat hesabının maliyeti de hızla artar.
Yakın kavramlar
Öz DikkatSelf-attentionÖz dikkat, bir dizideki her öğenin aynı dizideki diğer tüm öğelerle ilişkisini hesaplayan dikkat türüdür.Derin Öğrenme & Sinir AğlarıTransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.Dil Modelleri & Üretken YZBağlam PenceresiContext WindowBağlam penceresi, bir dil modelinin tek seferde dikkate alabildiği en fazla token miktarıdır; promptun, yüklenen belgelerin, sohbet geçmişinin ve cevabın toplamını kapsar.Dil Modelleri & Üretken YZ