A/B testi, iki farklı sürümü (ör. iki prompt ya da iki model) gerçek kullanıcıların farklı gruplarına göstererek hangisinin daha iyi sonuç verdiğini ölçme yöntemidir.
A/B Testi ne demek?
Laboratuvar testleri ve benchmark'lar gerçek kullanıcı davranışını tam yansıtmaz. A/B testinde tıklama, memnuniyet puanı, dönüşüm ya da şikâyet oranı gibi gerçek ölçütler karşılaştırılır. Sonucun anlamlı olması için yeterli sayıda kullanıcı ve süre gerekir.
Yakın kavramlar
Model Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & Değerlendirmeİnsan DeğerlendirmesiHuman Evaluationİnsan değerlendirmesi, model çıktılarının kalitesinin insanlar tarafından okunarak belirlenen ölçütlere göre puanlanmasıdır.Veri & Değerlendirme