Veri & Değerlendirme Terimleri

A2 terim

A/B TestiA/B TestingA/B testi, iki farklı sürümü (ör. iki prompt ya da iki model) gerçek kullanıcıların farklı gruplarına göstererek hangisinin daha iyi sonuç verdiğini ölçme yöntemidir.Aykırı DeğerOutlierAykırı değer, veri setindeki diğer gözlemlerden belirgin biçimde farklı olan, olağan dışı kayıttır.

B4 terim

BenchmarkBenchmark, farklı yapay zekâ modellerinin aynı görevlerde başarısını karşılaştırmak için kullanılan standart test setidir.BLEU ve ROUGEBLEU ve ROUGE, yapay zekânın ürettiği çeviri ya da özetin, insan yazımı referans metinle kelime örtüşmesine bakarak puanlanmasını sağlayan otomatik ölçütlerdir.Boyut İndirgemeDimensionality ReductionBoyut indirgeme, çok sayıda özelliği olan veriyi en önemli bilgileri koruyarak daha az sayıda özellikle temsil etme yöntemidir.Büyük VeriBig DataBüyük veri, hacmi, üretilme hızı ve çeşitliliği nedeniyle geleneksel araçlarla saklanması ve işlenmesi zor olan veri kümelerini anlatan kavramdır.

C1 terim

Chatbot ArenaChatbot Arena, kullanıcıların iki anonim modelin cevaplarını karşılaştırıp hangisinin daha iyi olduğunu oyladığı ve bu oylardan Elo puanıyla bir sıralama çıkarılan açık değerlendirme platformudur.

Ç1 terim

Çapraz DoğrulamaCross-validationÇapraz doğrulama, veriyi birkaç parçaya bölüp modeli her seferinde farklı bir parçayla test ederek başarısını daha güvenilir ölçme yöntemidir.

D1 terim

DoğrulukAccuracyDoğruluk, bir modelin yaptığı tüm tahminler içinde doğru olanların oranıdır.

F1 terim

F1 SkoruF1 ScoreF1 skoru, kesinlik ve duyarlılığın harmonik ortalamasıdır ve ikisini tek bir sayıda dengeli biçimde özetler.

İ1 terim

İnsan DeğerlendirmesiHuman Evaluationİnsan değerlendirmesi, model çıktılarının kalitesinin insanlar tarafından okunarak belirlenen ölçütlere göre puanlanmasıdır.

K2 terim

Karmaşıklık MatrisiConfusion MatrixKarmaşıklık matrisi, bir sınıflandırma modelinin doğru ve yanlış tahminlerini sınıflara göre tablo hâlinde gösteren değerlendirme aracıdır.Kesinlik ve DuyarlılıkPrecision & RecallKesinlik, modelin "pozitif" dediklerinin ne kadarının gerçekten pozitif olduğunu; duyarlılık ise gerçek pozitiflerin ne kadarını yakalayabildiğini ölçer.

L1 terim

LLM HakemLLM-as-a-JudgeLLM hakem, başka bir modelin ürettiği cevapları belirlenen ölçütlere göre puanlamak için bir dil modelinin değerlendirici olarak kullanılmasıdır.

M1 terim

Model Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.

P2 terim

Perplexity (Şaşkınlık)PerplexityPerplexity (şaşkınlık), bir dil modelinin bir metni ne kadar iyi tahmin ettiğini gösteren ölçüdür; değer düştükçe model metne daha az "şaşırıyor" demektir.Prompt Regresyon TestiPrompt Regression TestingPrompt regresyon testi, bir promptta ya da modelde yapılan değişikliğin daha önce doğru çalışan durumları bozup bozmadığını sabit bir test setiyle kontrol etmektir.

S1 terim

Sentetik VeriSynthetic DataSentetik veri, gerçek dünyadan toplanmak yerine yapay zekâ ya da simülasyonla üretilen ve gerçek veriye benzeyen veridir.

V4 terim

Veri ArtırmaData AugmentationVeri artırma, mevcut eğitim verilerinden küçük değişikliklerle yeni örnekler türeterek veri setini büyütme ve modeli daha sağlam hâle getirme yöntemidir.Veri EtiketlemeData LabelingVeri etiketleme, ham verilere modelin öğrenmesi için doğru cevapları (etiketleri) ekleme işidir.Veri SızıntısıData LeakageVeri sızıntısı, modelin eğitim sırasında gerçek kullanımda erişemeyeceği bilgiyi ya da test sorularını görmesi sonucu başarısının olduğundan iyi ölçülmesidir.Veri TemizlemeData CleaningVeri temizleme, veri setindeki hatalı, eksik, tekrar eden ya da tutarsız kayıtları bulup düzeltme veya çıkarma işlemidir.