BLEU ve ROUGE, yapay zekânın ürettiği çeviri ya da özetin, insan yazımı referans metinle kelime örtüşmesine bakarak puanlanmasını sağlayan otomatik ölçütlerdir.
BLEU ve ROUGE ne demek?
BLEU daha çok makine çevirisinde, ROUGE ise özetlemede kullanılır. Hızlı ve ucuzdurlar ama yalnızca kelime örtüşmesine baktıkları için aynı anlamı farklı kelimelerle anlatan iyi bir cevabı düşük puanlayabilirler. Bu yüzden dil modellerinin değerlendirmesinde giderek LLM hakem ve insan değerlendirmesiyle tamamlanırlar.
Yakın kavramlar
Model Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & DeğerlendirmeLLM HakemLLM-as-a-JudgeLLM hakem, başka bir modelin ürettiği cevapları belirlenen ölçütlere göre puanlamak için bir dil modelinin değerlendirici olarak kullanılmasıdır.Veri & DeğerlendirmeDoğal Dil İşlemeNLP · Natural Language ProcessingDoğal dil işleme (NLP), bilgisayarların insan dilini anlaması, yorumlaması ve üretmesiyle ilgilenen yapay zekâ alanıdır.Temel Kavramlar