Jailbreak, bir yapay zekâ modelinin güvenlik kurallarını ve kısıtlamalarını özel olarak kurgulanmış promptlarla aşmaya çalışma girişimidir.
Jailbreak ne demek?
Rol yapma senaryoları ("kuralları olmayan bir yapay zekâ gibi davran"), varsayımsal hikâyeler, şifreli dil ya da adım adım manipülasyon gibi yöntemler kullanılır. Amaç, modelin normalde reddedeceği zararlı içerikleri üretmesini sağlamaktır.
Model geliştiriciler bilinen jailbreak yöntemlerini sürekli test edip modellerini bunlara karşı eğitir; kırmızı takım çalışmaları bu sürecin parçasıdır. Hizmet koşullarını ihlal eden jailbreak girişimleri hesabın kapatılmasına yol açabilir.
Yakın kavramlar
Prompt EnjeksiyonuPrompt InjectionPrompt enjeksiyonu, bir yapay zekâ sistemine işlediği metnin içine gizlenmiş talimatlar yerleştirerek onu asıl görevinden saptırma saldırısıdır.Güvenlik, Etik & HukukKırmızı TakımRed TeamingKırmızı takım, bir yapay zekâ sistemini kötü niyetli bir saldırgan gibi davranarak zorlayıp güvenlik açıklarını ve zararlı davranışlarını ortaya çıkarma çalışmasıdır.Güvenlik, Etik & HukukHizalamaAlignmentHizalama, yapay zekâ sistemlerinin insanların niyetlerine, değerlerine ve güvenlik beklentilerine uygun davranmasını sağlama çalışmalarının genel adıdır.Güvenlik, Etik & HukukGüvenlik BariyeriGuardrailsGüvenlik bariyeri (guardrail), bir yapay zekâ uygulamasının zararlı, konu dışı ya da kurallara aykırı girdi ve çıktılarını engellemek için kurulan kontrol katmanlarıdır.Güvenlik, Etik & Hukuk