Transformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.
Transformer ne demek?
2017'de Google araştırmacılarının "Attention Is All You Need" makalesiyle tanıtıldı. Önceki RNN tabanlı modeller metni kelime kelime sırayla işlerken transformer tüm kelimeleri aynı anda işleyebilir ve her kelimenin diğer kelimelerle ilişkisini öz-dikkat ile hesaplar.
Bu paralel çalışma, çok büyük verilerle eğitimi mümkün kıldı. GPT'deki "T" de transformer'dan gelir. Mimari bugün görüntü, ses ve video modellerinde de kullanılıyor.
Yakın kavramlar
Dikkat MekanizmasıAttention MechanismDikkat mekanizması, bir modelin bir öğeyi işlerken girdinin diğer bölümlerinden hangilerinin daha önemli olduğunu ağırlıklandırarak odaklanmasını sağlayan yöntemdir.Derin Öğrenme & Sinir AğlarıÖz DikkatSelf-attentionÖz dikkat, bir dizideki her öğenin aynı dizideki diğer tüm öğelerle ilişkisini hesaplayan dikkat türüdür.Derin Öğrenme & Sinir AğlarıGPTGenerative Pre-trained TransformerGPT (Üretken Ön Eğitimli Transformer), OpenAI'ın geliştirdiği ve ChatGPT'ye güç veren büyük dil modeli ailesinin adıdır.Dil Modelleri & Üretken YZKodlayıcı-Kod ÇözücüEncoder-DecoderKodlayıcı-kod çözücü, girdiyi önce anlamlı bir iç temsile dönüştüren (kodlayıcı) ve bu temsilden çıktıyı üreten (kod çözücü) iki parçalı model yapısıdır.Derin Öğrenme & Sinir AğlarıTekrarlayan Sinir AğıRNN · Recurrent Neural NetworkTekrarlayan sinir ağı (RNN), metin ve zaman serisi gibi sıralı verileri adım adım işleyen ve önceki adımların bilgisini bir iç bellek ile taşıyan sinir ağı türüdür.Derin Öğrenme & Sinir AğlarıBüyük Dil ModeliLLM · Large Language ModelBüyük dil modeli (LLM), çok büyük miktarda metinle eğitilerek dili anlamayı ve üretmeyi öğrenmiş, milyarlarca parametreli yapay zekâ modelidir.Dil Modelleri & Üretken YZ