Gradyan inişi, modelin hata (kayıp) değerini azaltmak için parametrelerini hatanın en hızlı düştüğü yönde küçük adımlarla güncelleyen optimizasyon yöntemidir.
Gradyan İnişi ne demek?
Sisli bir dağda en alçak noktaya inmeye çalışan biri gibi düşünebilirsin: her adımda ayağının altındaki eğime bakar ve aşağıya doğru bir adım atar. Gradyan, bu eğimin matematiksel karşılığıdır.
Derin öğrenmede gradyanlar geri yayılım ile hesaplanır; Adam gibi gelişmiş optimizasyon algoritmaları gradyan inişinin türevleridir.
Yakın kavramlar
Geri YayılımBackpropagationGeri yayılım, bir sinir ağının çıktısındaki hatanın her bir ağırlıktan ne kadar kaynaklandığını sondan başa doğru hesaplayan algoritmadır.Derin Öğrenme & Sinir AğlarıKayıp FonksiyonuLoss FunctionKayıp fonksiyonu, modelin tahmini ile doğru cevap arasındaki farkı tek bir sayıyla ölçen ve eğitimde küçültülmeye çalışılan fonksiyondur.Makine Öğrenmesi & EğitimÖğrenme OranıLearning RateÖğrenme oranı, eğitim sırasında model parametrelerinin her güncellemede ne kadar büyük adımlarla değiştirileceğini belirleyen hiperparametredir.Makine Öğrenmesi & EğitimAlgoritmaAlgorithmAlgoritma, bir problemi çözmek ya da bir işi tamamlamak için izlenen, sırası ve kuralları belli adımlar dizisidir.Temel KavramlarYığın BoyutuBatch SizeYığın boyutu, eğitim sırasında model parametreleri güncellenmeden önce birlikte işlenen örnek sayısıdır.Makine Öğrenmesi & Eğitim