Tekrarlayan sinir ağı (RNN), metin ve zaman serisi gibi sıralı verileri adım adım işleyen ve önceki adımların bilgisini bir iç bellek ile taşıyan sinir ağı türüdür.
Tekrarlayan Sinir Ağı ne demek?
Bir cümleyi kelime kelime okurken önceki kelimelerden edindiği bilgiyi bir sonraki adıma aktarır. Transformer'lardan önce çeviri ve konuşma tanımada yaygın biçimde kullanılıyordu.
Verileri sırayla işlemek zorunda olduğu için yavaş eğitilir ve uzun metinlerde baştaki bilgiyi unutma eğilimindedir.
Yakın kavramlar
LSTMLong Short-Term MemoryLSTM (uzun kısa süreli bellek), hangi bilginin saklanıp hangisinin unutulacağına karar veren kapılar sayesinde uzun dizilerdeki ilişkileri daha iyi öğrenebilen RNN türüdür.Derin Öğrenme & Sinir AğlarıTransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.Dil Modelleri & Üretken YZKaybolan GradyanVanishing GradientKaybolan gradyan, derin ağlarda hata sinyalinin geriye doğru taşınırken giderek küçülüp ilk katmanların neredeyse hiç öğrenememesi sorunudur.Derin Öğrenme & Sinir Ağları