Logit, bir modelin olasılığa dönüştürülmeden önce her olası çıktı için ürettiği ham puandır.
Logit ne demek?
Dil modelinin son katmanı, her olası sonraki token için bir logit üretir. Bu puanlar softmax ile olasılığa çevrilir ve örnekleme ile bir token seçilir. Bazı API'ler token olasılıklarını (logprobs) da döndürerek modelin ne kadar emin olduğunu görmeyi sağlar.
Yakın kavramlar
SoftmaxSoftmax, bir dizi ham puanı toplamı 1 olan olasılıklara dönüştüren fonksiyondur; sınıflandırma ve dil modellerinin çıktı katmanında kullanılır.Derin Öğrenme & Sinir AğlarıÖrneklemeSamplingÖrnekleme, dil modelinin her adımda olası tokenler arasından hangisini seçeceğine karar verme yöntemidir.Dil Modelleri & Üretken YZTokenToken, dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası, bir noktalama işareti ya da boşluk olabilir.Dil Modelleri & Üretken YZ