Frekans cezası, modelin aynı kelime ve ifadeleri tekrar tekrar kullanmasını azaltmak için tekrar eden tokenlerin olasılığını düşüren ayardır.
Frekans Cezası ne demek?
Bir token metinde ne kadar sık geçtiyse bir sonraki seferde seçilme olasılığı o kadar düşürülür. Benzer bir ayar olan varlık cezası (presence penalty) ise tokenin kaç kez geçtiğine bakmadan, bir kez geçmiş olmasını cezalandırır ve modeli yeni konulara yönlendirir.
Değerler abartılırsa model gerekli kelimeleri bile kullanmaktan kaçınıp tuhaf ifadeler kurabilir.
Yakın kavramlar
SıcaklıkTemperatureSıcaklık (temperature), dil modelinin cevap üretirken ne kadar rastgele ya da ne kadar tutarlı davranacağını belirleyen ayardır.Dil Modelleri & Üretken YZÖrneklemeSamplingÖrnekleme, dil modelinin her adımda olası tokenler arasından hangisini seçeceğine karar verme yöntemidir.Dil Modelleri & Üretken YZ