Prompt regresyon testi, bir promptta ya da modelde yapılan değişikliğin daha önce doğru çalışan durumları bozup bozmadığını sabit bir test setiyle kontrol etmektir.
Prompt Regresyon Testi ne demek?
Bir sorunu düzeltmek için prompta eklenen yeni bir kural, başka bir senaryoda beklenmedik hatalara yol açabilir. Model sağlayıcısının modeli güncellemesi de aynı etkiyi yaratabilir. Kaydedilmiş test girdileri her değişiklikten sonra yeniden çalıştırılır ve sonuçlar karşılaştırılır.
Yakın kavramlar
Model Değerlendirme (Eval)EvaluationModel değerlendirme (eval), bir modelin ya da promptun belirli bir iş için ne kadar iyi çalıştığını tanımlı test örnekleri ve ölçütlerle sistematik olarak ölçmektir.Veri & DeğerlendirmeLLM HakemLLM-as-a-JudgeLLM hakem, başka bir modelin ürettiği cevapları belirlenen ölçütlere göre puanlamak için bir dil modelinin değerlendirici olarak kullanılmasıdır.Veri & DeğerlendirmePrompt MühendisliğiPrompt EngineeringPrompt mühendisliği, yapay zekâ modellerinden istenen sonucu tutarlı biçimde almak için promptları tasarlama, deneme ve iyileştirme becerisidir.Prompt Mühendisliği