Örnekleme, dil modelinin her adımda olası tokenler arasından hangisini seçeceğine karar verme yöntemidir.
Örnekleme ne demek?
Model her adımda binlerce olası token için bir olasılık hesaplar. En olasıyı her zaman seçmek (açgözlü seçim) tekdüze ve tekrar eden metinler üretebilir; olasılığa göre rastgele seçmek ise çeşitlilik katar.
Sıcaklık, top-p ve top-k bu seçimin ne kadar rastgele olacağını ayarlayan başlıca örnekleme ayarlarıdır.
Yakın kavramlar
SıcaklıkTemperatureSıcaklık (temperature), dil modelinin cevap üretirken ne kadar rastgele ya da ne kadar tutarlı davranacağını belirleyen ayardır.Dil Modelleri & Üretken YZTop-p ÖrneklemeTop-p (Nucleus) SamplingTop-p örnekleme, modelin bir sonraki tokeni yalnızca olasılıkları toplamı belirlenen eşiğe (p) ulaşan en olası adaylar arasından seçmesini sağlayan ayardır.Dil Modelleri & Üretken YZTop-k ÖrneklemeTop-k SamplingTop-k örnekleme, modelin bir sonraki tokeni yalnızca en olası k aday arasından seçmesini sağlayan ayardır.Dil Modelleri & Üretken YZDeterministik ÇıktıDeterministic OutputDeterministik çıktı, aynı girdi verildiğinde modelin her seferinde aynı cevabı üretmesidir.Dil Modelleri & Üretken YZFrekans CezasıFrequency PenaltyFrekans cezası, modelin aynı kelime ve ifadeleri tekrar tekrar kullanmasını azaltmak için tekrar eden tokenlerin olasılığını düşüren ayardır.Dil Modelleri & Üretken YZLogitLogit, bir modelin olasılığa dönüştürülmeden önce her olası çıktı için ürettiği ham puandır.Derin Öğrenme & Sinir Ağları