Perplexity (şaşkınlık), bir dil modelinin bir metni ne kadar iyi tahmin ettiğini gösteren ölçüdür; değer düştükçe model metne daha az "şaşırıyor" demektir.
Perplexity (Şaşkınlık) ne demek?
Model eğitimi sırasında ilerlemeyi izlemek ve aynı veri üzerinde modelleri karşılaştırmak için kullanılır. Düşük perplexity daha akıcı ve olası metin anlamına gelir, ama cevabın doğru ya da faydalı olduğunu tek başına göstermez.
Aynı adı taşıyan Perplexity adlı yapay zekâ arama motoruyla karıştırılmamalıdır.
Yakın kavramlar
Kayıp FonksiyonuLoss FunctionKayıp fonksiyonu, modelin tahmini ile doğru cevap arasındaki farkı tek bir sayıyla ölçen ve eğitimde küçültülmeye çalışılan fonksiyondur.Makine Öğrenmesi & EğitimModel Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & DeğerlendirmeSonraki Token TahminiNext-token PredictionSonraki token tahmini, dil modellerinin eğitildiği temel görevdir: verilen metnin devamında gelmesi en olası tokeni tahmin etmek.Dil Modelleri & Üretken YZ