Öz dikkat, bir dizideki her öğenin aynı dizideki diğer tüm öğelerle ilişkisini hesaplayan dikkat türüdür.
Öz Dikkat ne demek?
Her token için sorgu (query), anahtar (key) ve değer (value) adında üç vektör hesaplanır; bir tokenin diğerine ne kadar dikkat edeceği sorgu ile anahtarın benzerliğine göre belirlenir. Çok başlı dikkat ise bu işlemi farklı açılardan paralel olarak birkaç kez yapar.
Yakın kavramlar
Dikkat MekanizmasıAttention MechanismDikkat mekanizması, bir modelin bir öğeyi işlerken girdinin diğer bölümlerinden hangilerinin daha önemli olduğunu ağırlıklandırarak odaklanmasını sağlayan yöntemdir.Derin Öğrenme & Sinir AğlarıTransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.Dil Modelleri & Üretken YZKonumsal KodlamaPositional EncodingKonumsal kodlama, transformer modellerine her tokenin cümledeki sırasını bildirmek için token temsillerine eklenen bilgidir.Derin Öğrenme & Sinir Ağları