ReLU, negatif değerleri sıfıra çeviren, pozitif değerleri ise olduğu gibi geçiren basit ve çok yaygın aktivasyon fonksiyonudur.
ReLU ne demek?
Hesaplaması çok ucuzdur ve derin ağlarda kaybolan gradyan sorununu azalttığı için derin öğrenmenin yaygınlaşmasında önemli rol oynadı. Güncel dil modellerinde GELU ve SwiGLU gibi türevleri tercih edilir.
Yakın kavramlar
Aktivasyon FonksiyonuActivation FunctionAktivasyon fonksiyonu, bir nöronun ağırlıklı toplamını alıp çıktısına dönüştüren ve ağa doğrusal olmayan ilişkileri öğrenme yeteneği kazandıran fonksiyondur.Derin Öğrenme & Sinir AğlarıKaybolan GradyanVanishing GradientKaybolan gradyan, derin ağlarda hata sinyalinin geriye doğru taşınırken giderek küçülüp ilk katmanların neredeyse hiç öğrenememesi sorunudur.Derin Öğrenme & Sinir Ağları