Ödül modeli, bir cevabın insanlar tarafından ne kadar beğenileceğini puanlamak için eğitilen ve RLHF'te dil modeline yol gösteren yardımcı modeldir.
Ödül Modeli ne demek?
İnsanların cevaplar arasındaki tercihleriyle eğitilir. Ardından dil modelinin ürettiği her cevaba bir puan verir; dil modeli de bu puanı yükseltecek şekilde eğitilir.
Ödül modelindeki kusurlar, dil modelinin "puanı yüksek ama aslında kötü" cevaplar üretmeyi öğrenmesine yol açabilir; buna ödül hilesi (reward hacking) denir.
Yakın kavramlar
RLHFReinforcement Learning from Human FeedbackRLHF (insan geri bildirimiyle pekiştirmeli öğrenme), dil modellerini insanların tercih ettiği cevaplara göre eğiterek daha yardımsever, dürüst ve güvenli hâle getirme yöntemidir.Makine Öğrenmesi & EğitimPekiştirmeli ÖğrenmeRL · Reinforcement LearningPekiştirmeli öğrenme, bir ajanın deneme yanılma yoluyla çevresiyle etkileşerek ödülünü en üst düzeye çıkaracak davranışları öğrendiği yöntemdir.Makine Öğrenmesi & EğitimHizalamaAlignmentHizalama, yapay zekâ sistemlerinin insanların niyetlerine, değerlerine ve güvenlik beklentilerine uygun davranmasını sağlama çalışmalarının genel adıdır.Güvenlik, Etik & Hukuk