Kaybolan gradyan, derin ağlarda hata sinyalinin geriye doğru taşınırken giderek küçülüp ilk katmanların neredeyse hiç öğrenememesi sorunudur.
Kaybolan Gradyan ne demek?
Özellikle eski RNN'lerde ve sigmoid aktivasyon kullanan derin ağlarda ciddi bir engeldi. ReLU, LSTM, artık (residual) bağlantılar ve normalizasyon katmanları bu sorunu büyük ölçüde çözdü. Tersi durum olan patlayan gradyan da benzer biçimde eğitimi bozabilir.
Yakın kavramlar
Geri YayılımBackpropagationGeri yayılım, bir sinir ağının çıktısındaki hatanın her bir ağırlıktan ne kadar kaynaklandığını sondan başa doğru hesaplayan algoritmadır.Derin Öğrenme & Sinir AğlarıReLURectified Linear UnitReLU, negatif değerleri sıfıra çeviren, pozitif değerleri ise olduğu gibi geçiren basit ve çok yaygın aktivasyon fonksiyonudur.Derin Öğrenme & Sinir AğlarıLSTMLong Short-Term MemoryLSTM (uzun kısa süreli bellek), hangi bilginin saklanıp hangisinin unutulacağına karar veren kapılar sayesinde uzun dizilerdeki ilişkileri daha iyi öğrenebilen RNN türüdür.Derin Öğrenme & Sinir AğlarıTekrarlayan Sinir AğıRNN · Recurrent Neural NetworkTekrarlayan sinir ağı (RNN), metin ve zaman serisi gibi sıralı verileri adım adım işleyen ve önceki adımların bilgisini bir iç bellek ile taşıyan sinir ağı türüdür.Derin Öğrenme & Sinir AğlarıNormalizasyon KatmanıNormalization LayerNormalizasyon katmanı, ağın ara çıktılarını belirli bir ölçeğe getirerek eğitimi daha hızlı ve kararlı hâle getiren katmandır.Derin Öğrenme & Sinir Ağları