LSTM (uzun kısa süreli bellek), hangi bilginin saklanıp hangisinin unutulacağına karar veren kapılar sayesinde uzun dizilerdeki ilişkileri daha iyi öğrenebilen RNN türüdür.
LSTM ne demek?
Giriş, unutma ve çıkış kapıları, bilginin bellek hücresine ne zaman yazılacağını ve ne zaman silineceğini kontrol eder. Bu sayede klasik RNN'lerin kaybolan gradyan sorununu büyük ölçüde aşar.
Transformer'lar yaygınlaşmadan önce makine çevirisi ve konuşma tanımanın temel taşıydı.
Yakın kavramlar
Tekrarlayan Sinir AğıRNN · Recurrent Neural NetworkTekrarlayan sinir ağı (RNN), metin ve zaman serisi gibi sıralı verileri adım adım işleyen ve önceki adımların bilgisini bir iç bellek ile taşıyan sinir ağı türüdür.Derin Öğrenme & Sinir AğlarıKaybolan GradyanVanishing GradientKaybolan gradyan, derin ağlarda hata sinyalinin geriye doğru taşınırken giderek küçülüp ilk katmanların neredeyse hiç öğrenememesi sorunudur.Derin Öğrenme & Sinir AğlarıTransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.Dil Modelleri & Üretken YZ