İnsan değerlendirmesi, model çıktılarının kalitesinin insanlar tarafından okunarak belirlenen ölçütlere göre puanlanmasıdır.
İnsan Değerlendirmesi ne demek?
Yaratıcılık, doğal dil, kültürel uygunluk ve gerçek kullanıcı memnuniyeti gibi konularda hâlâ en güvenilir yöntemdir. Değerlendiriciler arası tutarlılığı sağlamak için net puanlama rehberleri ve örnekler kullanılır.
Yakın kavramlar
LLM HakemLLM-as-a-JudgeLLM hakem, başka bir modelin ürettiği cevapları belirlenen ölçütlere göre puanlamak için bir dil modelinin değerlendirici olarak kullanılmasıdır.Veri & DeğerlendirmeModel Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & DeğerlendirmeRLHFReinforcement Learning from Human FeedbackRLHF (insan geri bildirimiyle pekiştirmeli öğrenme), dil modellerini insanların tercih ettiği cevaplara göre eğiterek daha yardımsever, dürüst ve güvenli hâle getirme yöntemidir.Makine Öğrenmesi & EğitimA/B TestiA/B TestingA/B testi, iki farklı sürümü (ör. iki prompt ya da iki model) gerçek kullanıcıların farklı gruplarına göstererek hangisinin daha iyi sonuç verdiğini ölçme yöntemidir.Veri & DeğerlendirmeChatbot ArenaChatbot Arena, kullanıcıların iki anonim modelin cevaplarını karşılaştırıp hangisinin daha iyi olduğunu oyladığı ve bu oylardan Elo puanıyla bir sıralama çıkarılan açık değerlendirme platformudur.Veri & Değerlendirme