Softmax, bir dizi ham puanı toplamı 1 olan olasılıklara dönüştüren fonksiyondur; sınıflandırma ve dil modellerinin çıktı katmanında kullanılır.
Softmax ne demek?
Dil modeli her adımda sözlüğündeki her token için bir puan (logit) üretir; softmax bu puanları olasılıklara çevirir. Sıcaklık ayarı da softmax'a girmeden önce puanları ölçekleyerek dağılımı daha sivri ya da daha düz hâle getirir.
Yakın kavramlar
LogitLogit, bir modelin olasılığa dönüştürülmeden önce her olası çıktı için ürettiği ham puandır.Derin Öğrenme & Sinir AğlarıSıcaklıkTemperatureSıcaklık (temperature), dil modelinin cevap üretirken ne kadar rastgele ya da ne kadar tutarlı davranacağını belirleyen ayardır.Dil Modelleri & Üretken YZAktivasyon FonksiyonuActivation FunctionAktivasyon fonksiyonu, bir nöronun ağırlıklı toplamını alıp çıktısına dönüştüren ve ağa doğrusal olmayan ilişkileri öğrenme yeteneği kazandıran fonksiyondur.Derin Öğrenme & Sinir Ağları