Aktivasyon fonksiyonu, bir nöronun ağırlıklı toplamını alıp çıktısına dönüştüren ve ağa doğrusal olmayan ilişkileri öğrenme yeteneği kazandıran fonksiyondur.
Aktivasyon Fonksiyonu ne demek?
Aktivasyon fonksiyonu olmasaydı, kaç katman eklenirse eklensin ağ yalnızca düz bir doğru gibi basit ilişkileri öğrenebilirdi. ReLU, sigmoid, tanh ve GELU en yaygın aktivasyon fonksiyonlarıdır.
Yakın kavramlar
ReLURectified Linear UnitReLU, negatif değerleri sıfıra çeviren, pozitif değerleri ise olduğu gibi geçiren basit ve çok yaygın aktivasyon fonksiyonudur.Derin Öğrenme & Sinir AğlarıSoftmaxSoftmax, bir dizi ham puanı toplamı 1 olan olasılıklara dönüştüren fonksiyondur; sınıflandırma ve dil modellerinin çıktı katmanında kullanılır.Derin Öğrenme & Sinir AğlarıYapay NöronArtificial NeuronYapay nöron, girdilerini ağırlıklarla çarpıp toplayan, buna bir sapma değeri ekleyen ve sonucu aktivasyon fonksiyonundan geçirerek çıktı üreten sinir ağının temel birimidir.Derin Öğrenme & Sinir Ağları