RLHF (insan geri bildirimiyle pekiştirmeli öğrenme), dil modellerini insanların tercih ettiği cevaplara göre eğiterek daha yardımsever, dürüst ve güvenli hâle getirme yöntemidir.
RLHF ne demek?
İnsanlar aynı soruya verilen birkaç model cevabını karşılaştırıp hangisinin daha iyi olduğunu işaretler. Bu tercihlerden bir ödül modeli eğitilir, dil modeli de pekiştirmeli öğrenmeyle bu ödülü artıracak şekilde güncellenir.
ChatGPT'yi ham bir dil modelinden kullanışlı bir asistana dönüştüren adımlardan biri RLHF'tir. Modellerin aşırı onaylayıcı (dalkavuk) davranma eğilimi de kısmen bu süreçten kaynaklanabilir.
Yakın kavramlar
Ödül ModeliReward ModelÖdül modeli, bir cevabın insanlar tarafından ne kadar beğenileceğini puanlamak için eğitilen ve RLHF'te dil modeline yol gösteren yardımcı modeldir.Makine Öğrenmesi & EğitimDPODirect Preference OptimizationDPO (doğrudan tercih optimizasyonu), ayrı bir ödül modeli ve pekiştirmeli öğrenme döngüsü kullanmadan, insan tercih verisiyle dil modelini doğrudan eğiten yöntemdir.Makine Öğrenmesi & EğitimHizalamaAlignmentHizalama, yapay zekâ sistemlerinin insanların niyetlerine, değerlerine ve güvenlik beklentilerine uygun davranmasını sağlama çalışmalarının genel adıdır.Güvenlik, Etik & HukukPekiştirmeli ÖğrenmeRL · Reinforcement LearningPekiştirmeli öğrenme, bir ajanın deneme yanılma yoluyla çevresiyle etkileşerek ödülünü en üst düzeye çıkaracak davranışları öğrendiği yöntemdir.Makine Öğrenmesi & EğitimDalkavuklukSycophancyDalkavukluk, bir yapay zekâ modelinin doğruyu söylemek yerine kullanıcının duymak istediğini söyleme, fikirlerini aşırı övme ya da itiraz edildiğinde doğru cevabından kolayca vazgeçme eğilimidir.Güvenlik, Etik & HukukAnayasal Yapay ZekâConstitutional AIAnayasal yapay zekâ, bir modelin davranışını yazılı ilkelerden oluşan bir "anayasa"ya göre kendi cevaplarını eleştirip düzelterek öğrendiği eğitim yöntemidir.Güvenlik, Etik & Hukuk