DPO (doğrudan tercih optimizasyonu), ayrı bir ödül modeli ve pekiştirmeli öğrenme döngüsü kullanmadan, insan tercih verisiyle dil modelini doğrudan eğiten yöntemdir.
DPO ne demek?
RLHF'e göre daha basit ve kararlı olduğu için açık ağırlıklı modellerin ince ayarında yaygın biçimde kullanılır. Eğitim verisi yine "bu cevap şu cevaptan daha iyi" türündeki çiftlerden oluşur.
Yakın kavramlar
RLHFReinforcement Learning from Human FeedbackRLHF (insan geri bildirimiyle pekiştirmeli öğrenme), dil modellerini insanların tercih ettiği cevaplara göre eğiterek daha yardımsever, dürüst ve güvenli hâle getirme yöntemidir.Makine Öğrenmesi & Eğitimİnce AyarFine-tuningİnce ayar, önceden eğitilmiş bir modelin belirli bir görev, alan ya da üslup için daha küçük ve özel bir veri setiyle yeniden eğitilmesidir.Makine Öğrenmesi & EğitimHizalamaAlignmentHizalama, yapay zekâ sistemlerinin insanların niyetlerine, değerlerine ve güvenlik beklentilerine uygun davranmasını sağlama çalışmalarının genel adıdır.Güvenlik, Etik & Hukuk