Kırmızı takım, bir yapay zekâ sistemini kötü niyetli bir saldırgan gibi davranarak zorlayıp güvenlik açıklarını ve zararlı davranışlarını ortaya çıkarma çalışmasıdır.
Kırmızı Takım ne demek?
Uzmanlar modeli jailbreak, prompt enjeksiyonu, önyargılı ya da tehlikeli içerik üretme gibi açılardan sistematik olarak dener. Bulunan sorunlar model yayımlanmadan önce düzeltilir. Büyük modellerin çoğu yayından önce hem iç hem de dış kırmızı takımlar tarafından test edilir.
Yakın kavramlar
JailbreakJailbreak, bir yapay zekâ modelinin güvenlik kurallarını ve kısıtlamalarını özel olarak kurgulanmış promptlarla aşmaya çalışma girişimidir.Güvenlik, Etik & HukukPrompt EnjeksiyonuPrompt InjectionPrompt enjeksiyonu, bir yapay zekâ sistemine işlediği metnin içine gizlenmiş talimatlar yerleştirerek onu asıl görevinden saptırma saldırısıdır.Güvenlik, Etik & HukukHizalamaAlignmentHizalama, yapay zekâ sistemlerinin insanların niyetlerine, değerlerine ve güvenlik beklentilerine uygun davranmasını sağlama çalışmalarının genel adıdır.Güvenlik, Etik & HukukSorumlu Yapay ZekâResponsible AISorumlu yapay zekâ, yapay zekâ sistemlerinin güvenli, adil, şeffaf, hesap verebilir ve insan haklarına saygılı biçimde geliştirilip kullanılmasını amaçlayan ilkeler bütünüdür.Güvenlik, Etik & HukukVeri ZehirlemeData PoisoningVeri zehirleme, bir modelin eğitim verisine kasıtlı olarak hatalı ya da kötü niyetli örnekler ekleyerek modelin davranışını bozma saldırısıdır.Güvenlik, Etik & Hukuk