Chatbot Arena, kullanıcıların iki anonim modelin cevaplarını karşılaştırıp hangisinin daha iyi olduğunu oyladığı ve bu oylardan Elo puanıyla bir sıralama çıkarılan açık değerlendirme platformudur.
Chatbot Arena ne demek?
LMArena (eski adıyla LMSYS Chatbot Arena) olarak bilinir. Kullanıcı hangi modelin hangi cevabı verdiğini oy verdikten sonra öğrenir; böylece marka önyargısı azaltılır. Sıralama, satrançtaki Elo sistemine benzer biçimde hesaplanır.
Gerçek kullanıcı tercihlerini yansıttığı için sabit benchmark'lara göre farklı bir bakış sunar, ama cevabın uzunluğu ve biçimi gibi etkenlere de duyarlıdır.
Yakın kavramlar
BenchmarkBenchmark, farklı yapay zekâ modellerinin aynı görevlerde başarısını karşılaştırmak için kullanılan standart test setidir.Veri & Değerlendirmeİnsan DeğerlendirmesiHuman Evaluationİnsan değerlendirmesi, model çıktılarının kalitesinin insanlar tarafından okunarak belirlenen ölçütlere göre puanlanmasıdır.Veri & DeğerlendirmeModel Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & Değerlendirme