Normalizasyon katmanı, ağın ara çıktılarını belirli bir ölçeğe getirerek eğitimi daha hızlı ve kararlı hâle getiren katmandır.
Normalizasyon Katmanı ne demek?
Değerlerin katmandan katmana aşırı büyümesini ya da küçülmesini önler. Görüntü modellerinde yığın normalizasyonu (batch norm), transformer'larda katman normalizasyonu (layer norm) ve RMSNorm yaygındır.
Yakın kavramlar
KatmanLayerKatman, sinir ağında aynı aşamada çalışan nöronlardan oluşan ve veriyi bir sonraki aşamaya dönüştürerek aktaran yapıdır.Derin Öğrenme & Sinir AğlarıKaybolan GradyanVanishing GradientKaybolan gradyan, derin ağlarda hata sinyalinin geriye doğru taşınırken giderek küçülüp ilk katmanların neredeyse hiç öğrenememesi sorunudur.Derin Öğrenme & Sinir AğlarıTransformerTransformer, dikkat mekanizmasına dayanan ve bugünkü büyük dil modellerinin neredeyse tamamının temelini oluşturan sinir ağı mimarisidir.Dil Modelleri & Üretken YZ