Güvenlik bariyeri (guardrail), bir yapay zekâ uygulamasının zararlı, konu dışı ya da kurallara aykırı girdi ve çıktılarını engellemek için kurulan kontrol katmanlarıdır.
Güvenlik Bariyeri ne demek?
Kullanıcı mesajı modele ulaşmadan önce zararlı içerik ve prompt enjeksiyonu için taranabilir; modelin cevabı da kullanıcıya gösterilmeden önce kişisel veri, yanlış biçim ya da yasaklı konu açısından kontrol edilebilir. Kurallar, sınıflandırıcı modeller ya da ikinci bir dil modeliyle uygulanır.
Yakın kavramlar
İçerik ModerasyonuContent Moderationİçerik moderasyonu, kullanıcıların paylaştığı ya da yapay zekânın ürettiği içeriklerin şiddet, nefret söylemi, taciz gibi zararlı unsurlar açısından denetlenmesidir.Güvenlik, Etik & HukukPrompt EnjeksiyonuPrompt InjectionPrompt enjeksiyonu, bir yapay zekâ sistemine işlediği metnin içine gizlenmiş talimatlar yerleştirerek onu asıl görevinden saptırma saldırısıdır.Güvenlik, Etik & HukukJailbreakJailbreak, bir yapay zekâ modelinin güvenlik kurallarını ve kısıtlamalarını özel olarak kurgulanmış promptlarla aşmaya çalışma girişimidir.Güvenlik, Etik & Hukukİnsan DenetimiHITL · Human-in-the-loopİnsan denetimi, yapay zekâ sistemlerinin önemli kararlarında ve işlemlerinde son onayın, kontrolün ya da düzeltme imkânının bir insanda olmasıdır.Güvenlik, Etik & Hukuk