Top-k örnekleme, modelin bir sonraki tokeni yalnızca en olası k aday arasından seçmesini sağlayan ayardır.
Top-k Örnekleme ne demek?
Top-k 40 ise model her adımda en olası 40 tokenin dışındakileri hiç dikkate almaz. Değer küçüldükçe çıktı daha tutucu, büyüdükçe daha çeşitli olur.
Top-p'den farkı, aday sayısının olasılıklara göre değil sabit bir sayıyla belirlenmesidir. Bazı API'lerde bu ayar hiç bulunmaz.
Yakın kavramlar
Top-p ÖrneklemeTop-p (Nucleus) SamplingTop-p örnekleme, modelin bir sonraki tokeni yalnızca olasılıkları toplamı belirlenen eşiğe (p) ulaşan en olası adaylar arasından seçmesini sağlayan ayardır.Dil Modelleri & Üretken YZSıcaklıkTemperatureSıcaklık (temperature), dil modelinin cevap üretirken ne kadar rastgele ya da ne kadar tutarlı davranacağını belirleyen ayardır.Dil Modelleri & Üretken YZÖrneklemeSamplingÖrnekleme, dil modelinin her adımda olası tokenler arasından hangisini seçeceğine karar verme yöntemidir.Dil Modelleri & Üretken YZ