Hizalama, yapay zekâ sistemlerinin insanların niyetlerine, değerlerine ve güvenlik beklentilerine uygun davranmasını sağlama çalışmalarının genel adıdır.
Hizalama ne demek?
Hizalanmış bir model kullanıcının gerçekten ne istediğini anlar, zararlı isteklere uymaz, dürüst davranır ve verilen hedefe kestirme ama istenmeyen yollardan ulaşmaya çalışmaz. RLHF, anayasal yapay zekâ ve kırmızı takım çalışmaları hizalamanın pratik araçlarıdır.
Modeller güçlendikçe, özellikle özerk ajanlarda, hizalama yapay zekâ güvenliğinin en kritik araştırma alanlarından biri hâline gelmiştir.
Yakın kavramlar
RLHFReinforcement Learning from Human FeedbackRLHF (insan geri bildirimiyle pekiştirmeli öğrenme), dil modellerini insanların tercih ettiği cevaplara göre eğiterek daha yardımsever, dürüst ve güvenli hâle getirme yöntemidir.Makine Öğrenmesi & EğitimAnayasal Yapay ZekâConstitutional AIAnayasal yapay zekâ, bir modelin davranışını yazılı ilkelerden oluşan bir "anayasa"ya göre kendi cevaplarını eleştirip düzelterek öğrendiği eğitim yöntemidir.Güvenlik, Etik & HukukSorumlu Yapay ZekâResponsible AISorumlu yapay zekâ, yapay zekâ sistemlerinin güvenli, adil, şeffaf, hesap verebilir ve insan haklarına saygılı biçimde geliştirilip kullanılmasını amaçlayan ilkeler bütünüdür.Güvenlik, Etik & HukukYapay Genel ZekâAGI · Artificial General IntelligenceYapay genel zekâ (AGI), insan gibi çok farklı alanlarda öğrenebilen, akıl yürütebilen ve yeni durumlara uyum sağlayabilen varsayımsal yapay zekâ seviyesidir.Temel KavramlarDalkavuklukSycophancyDalkavukluk, bir yapay zekâ modelinin doğruyu söylemek yerine kullanıcının duymak istediğini söyleme, fikirlerini aşırı övme ya da itiraz edildiğinde doğru cevabından kolayca vazgeçme eğilimidir.Güvenlik, Etik & HukukDPODirect Preference OptimizationDPO (doğrudan tercih optimizasyonu), ayrı bir ödül modeli ve pekiştirmeli öğrenme döngüsü kullanmadan, insan tercih verisiyle dil modelini doğrudan eğiten yöntemdir.Makine Öğrenmesi & Eğitim