LLM hakem, başka bir modelin ürettiği cevapları belirlenen ölçütlere göre puanlamak için bir dil modelinin değerlendirici olarak kullanılmasıdır.
LLM Hakem ne demek?
Binlerce cevabı insanların tek tek okuması pahalı ve yavaştır; güçlü bir model, açık bir puanlama rehberiyle bu işi hızlıca yapabilir. Özellikle özetleme, ton ve talimata uyum gibi kesin doğru cevabı olmayan görevlerde kullanışlıdır.
Hakem modelin kendi cevaplarını kayırması, uzun cevapları daha iyi bulması ve cevapların sırasından etkilenmesi gibi önyargıları vardır; sonuçlar ara ara insan değerlendirmesiyle kontrol edilmelidir.
Örnek
"Aşağıdaki müşteri cevabını 1-5 arası puanla: (1) soruyu tam cevaplıyor mu, (2) kibar mı, (3) yanlış bilgi var mı. Önce gerekçeni yaz, sonra puanları JSON olarak ver."
Yakın kavramlar
Model Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & Değerlendirmeİnsan DeğerlendirmesiHuman Evaluationİnsan değerlendirmesi, model çıktılarının kalitesinin insanlar tarafından okunarak belirlenen ölçütlere göre puanlanmasıdır.Veri & DeğerlendirmeÖz EleştiriSelf-critique / ReflectionÖz eleştiri, modelden ürettiği cevabı belirli ölçütlere göre kendisinin değerlendirmesini ve ardından düzeltmesini isteyen tekniktir.Prompt MühendisliğiBenchmarkBenchmark, farklı yapay zekâ modellerinin aynı görevlerde başarısını karşılaştırmak için kullanılan standart test setidir.Veri & DeğerlendirmeBLEU ve ROUGEBLEU ve ROUGE, yapay zekânın ürettiği çeviri ya da özetin, insan yazımı referans metinle kelime örtüşmesine bakarak puanlanmasını sağlayan otomatik ölçütlerdir.Veri & DeğerlendirmePrompt Regresyon TestiPrompt Regression TestingPrompt regresyon testi, bir promptta ya da modelde yapılan değişikliğin daha önce doğru çalışan durumları bozup bozmadığını sabit bir test setiyle kontrol etmektir.Veri & Değerlendirme