AI koruma çerçeveleri, bir yapay zeka sisteminin etrafında yer alan ve davranışını güvenli, konuyla ilgili ve geliştiricilerin niyet ettiği şekilde hizalı tutan politikalar, tasarım kalıpları ve teknik kontrollerdir. Bu terim, otoyoldaki fiziksel koruma bariyerlerinden ödünç alınmıştır: aracı sürmezler ama yoldan çıkmasını engellerler. Pratikte koruma çerçeveleri, bir modelin ne yapmasına, söylemesine veya ifşa etmesine izin verildiğini toplu olarak tanımlayan girdi filtreleri, çıktı filtreleri, sistem istemleri, erişim kısıtlamaları ve son işleme kurallarını birleştirir.
AI koruma çerçeveleri nasıl çalışır
Çoğu koruma çerçevesi sistemi, modelin etrafında bir işlem hattı olarak çalışır. Kullanıcı bir istem gönderdiğinde, bir girdi filtresi önce onu jailbreak girişimleri, istem enjeksiyonları, izin verilmeyen konu talepleri veya kişisel olarak tanımlanabilir bilgiler gibi güvensiz içerik açısından kontrol eder. Temiz istemler modele ulaşır ve modelin yanıtı daha sonra halüsinasyonlar, toksik dil, hassas veriler veya güvenilir bir bilgi tabanıyla çelişen iddialar açısından tarayan bir çıktı filtresinden geçirilir. Herhangi bir şey başarısız olursa işlem hattı ya yanıtı yeniden yazar, onu bir reddetmeyle değiştirir ya da bir insan incelemesine yönlendirir.
Uygulama katmanlıdır. Bir sistem istemi üst düzey kurallar belirler ("yalnızca faturalandırma ile ilgili soruları yanıtla"). Erişimden kaçınma mantığı, modelin kısıtlı belgeleri çekmesini engeller. Bir içerik denetleme modeli gibi bir sınıflandırıcı riskli metni işaretler. Şema doğrulayıcıları, yapılandırılmış çıktıların beklenen biçimle eşleşmesini sağlar. NIST'nin Yapay Zeka Risk Yönetimi Çerçevesi gibi araçlar, hangi kontrollerin uygulanacağını seçmek için bir yönetişim sözlüğü sağlar.
Neden önemlidir
Büyük dil modelleri olasılıksaldır: denetimsiz bırakıldıklarında ara sıra kendinden emin, zararlı veya politikaya aykırı çıktı üreteceklerdir. Koruma çerçeveleri bu riski yönetilen bir sınıra dönüştürür. Müşteriyle yüz yüze gelen sohbet botlarında, marka, yasal ve güvenlik riskinin en yüksek olduğu yerlerde ve sağlık, finans, eğitim gibi düzenlenmiş alanlarda, tek bir sızan veri parçasının veya yanlış yanıtın maliyetli olabileceği durumlarda vazgeçilmezdir. Ayrıca, birçok yapay zeka sistemi için belgelenmiş risk kontrolleri gerektiren AB Yapay Zeka Yasası gibi yeni kurallara uyumu da desteklerler.
Geliştiriciler için koruma çerçeveleri, hataları erken yakalayarak ve model davranışını denetlenebilir kılarak prototipten üretime giden yolu kısaltır. Kullanıcılar için yapay zeka ürünlerini öngörülebilir ve güvenilir hale getirirler.
AI koruma çerçevelerinin temel türleri
- Girdi koruma çerçeveleri: jailbreak'leri, istem enjeksiyonlarını, konu dışı talepleri ve PII'ı modele ulaşmadan engeller.
- Çıktı koruma çerçeveleri: modelin yanıtındaki toksisiteyi, halüsinasyonları, hassas verileri ve politika ihlallerini filtreler.
- Davranışsal koruma çerçeveleri: modelin nasıl akıl yürüttüğünü şekillendiren sistem istemleri, persona kısıtlamaları ve araç kullanım kısıtlamaları.
- Erişim koruma çerçeveleri: modelin görmemesi gereken verileri görmesini engelleyen belge düzeyinde izinler ve ilgililik filtreleri.
- Operasyonel koruma çerçeveleri: çalışma zamanı kontrolü için hız sınırları, insan-in-döngü yönlendirmesi, denetim kaydı ve acil kapatma düğmeleri.
Etkili koruma çerçevesi tasarımı güvenliği tek bir filtre yerine bir sistem özelliği olarak ele alır. En güçlü kurulumlar birkaç katmanı birleştirir, bunları telemetri ile donatır ve yapay zeka sistemlerini tehdit eden tehditler modellerin kendileri kadar hızlı geliştiğinden, yeni başarısızlık modları ortaya çıktıkça onları günceller.