Benchmark, farklı yapay zekâ modellerinin aynı görevlerde başarısını karşılaştırmak için kullanılan standart test setidir.
Benchmark ne demek?
MMLU genel bilgi, GSM8K ve AIME matematik, HumanEval ve SWE-bench kodlama, GPQA ise uzman düzeyinde soru çözme becerisini ölçen bilinen benchmark'lardır. Model duyurularında başarı genellikle bu testlerdeki puanlarla anlatılır.
Modellerin test sorularını eğitim sırasında görmüş olabilmesi (veri sızıntısı) ve testlerin gerçek kullanımı tam yansıtmaması nedeniyle benchmark sonuçlarına temkinli yaklaşmak gerekir; en iyi test, modeli kendi işinde denemektir.
Yakın kavramlar
Model Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & DeğerlendirmeVeri SızıntısıData LeakageVeri sızıntısı, modelin eğitim sırasında gerçek kullanımda erişemeyeceği bilgiyi ya da test sorularını görmesi sonucu başarısının olduğundan iyi ölçülmesidir.Veri & DeğerlendirmeChatbot ArenaChatbot Arena, kullanıcıların iki anonim modelin cevaplarını karşılaştırıp hangisinin daha iyi olduğunu oyladığı ve bu oylardan Elo puanıyla bir sıralama çıkarılan açık değerlendirme platformudur.Veri & DeğerlendirmeLLM HakemLLM-as-a-JudgeLLM hakem, başka bir modelin ürettiği cevapları belirlenen ölçütlere göre puanlamak için bir dil modelinin değerlendirici olarak kullanılmasıdır.Veri & DeğerlendirmeTuring TestiTuring TestTuring testi, bir makinenin yazılı sohbette insandan ayırt edilemeyecek kadar insan gibi davranıp davranamadığını ölçmek için önerilen düşünce deneyidir.Temel Kavramlar