Model değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.
Model Değerlendirme (Eval) ne demek?
Genel benchmark'lar yerine kendi kullanım senaryondan derlenmiş örnek girdiler ve beklenen çıktılarla yapılan değerlendirmeler çok daha anlamlıdır. Ölçütler doğruluk, biçime uyum, ton, güvenlik ve maliyet olabilir.
Prompt ya da model değiştirdiğinde aynı eval setini yeniden çalıştırmak, bir iyileştirmenin başka bir yeri bozup bozmadığını görmenin en güvenilir yoludur.
Prompt yazarken
Önemli bir prompt için en az 20-30 gerçekçi test girdisi ve "iyi cevap" tarifi hazırla; her değişiklikten sonra hepsini yeniden dene.
Prompt Sihirbazı ile deneYakın kavramlar
BenchmarkBenchmark, farklı yapay zekâ modellerinin aynı görevlerde başarısını karşılaştırmak için kullanılan standart test setidir.Veri & DeğerlendirmeLLM HakemLLM-as-a-JudgeLLM hakem, başka bir modelin ürettiği cevapları belirlenen ölçütlere göre puanlamak için bir dil modelinin değerlendirici olarak kullanılmasıdır.Veri & DeğerlendirmePrompt Regresyon TestiPrompt Regression TestingPrompt regresyon testi, bir promptta ya da modelde yapılan değişikliğin daha önce doğru çalışan durumları bozup bozmadığını sabit bir test setiyle kontrol etmektir.Veri & Değerlendirmeİnsan DeğerlendirmesiHuman Evaluationİnsan değerlendirmesi, model çıktılarının kalitesinin insanlar tarafından okunarak belirlenen ölçütlere göre puanlanmasıdır.Veri & DeğerlendirmeA/B TestiA/B TestingA/B testi, iki farklı sürümü (ör. iki prompt ya da iki model) gerçek kullanıcıların farklı gruplarına göstererek hangisinin daha iyi sonuç verdiğini ölçme yöntemidir.Veri & DeğerlendirmeBLEU ve ROUGEBLEU ve ROUGE, yapay zekânın ürettiği çeviri ya da özetin, insan yazımı referans metinle kelime örtüşmesine bakarak puanlanmasını sağlayan otomatik ölçütlerdir.Veri & Değerlendirme