Top-p örnekleme, modelin bir sonraki tokeni yalnızca olasılıkları toplamı belirlenen eşiğe (p) ulaşan en olası adaylar arasından seçmesini sağlayan ayardır.
Top-p Örnekleme ne demek?
Örneğin top-p 0,9 olduğunda model, olasılıkları toplamı yüzde 90'ı bulan en güçlü adayları alır ve seçimini bunların arasından yapar; geri kalan düşük olasılıklı tokenler dışarıda kalır.
Sıcaklıkla birlikte çıktının çeşitliliğini kontrol eder. Genel öneri, ikisinden yalnızca birini değiştirmek ve diğerini varsayılan değerde bırakmaktır.
Yakın kavramlar
SıcaklıkTemperatureSıcaklık (temperature), dil modelinin cevap üretirken ne kadar rastgele ya da ne kadar tutarlı davranacağını belirleyen ayardır.Dil Modelleri & Üretken YZTop-k ÖrneklemeTop-k SamplingTop-k örnekleme, modelin bir sonraki tokeni yalnızca en olası k aday arasından seçmesini sağlayan ayardır.Dil Modelleri & Üretken YZÖrneklemeSamplingÖrnekleme, dil modelinin her adımda olası tokenler arasından hangisini seçeceğine karar verme yöntemidir.Dil Modelleri & Üretken YZ