Hızlı Enjeksiyon Bir Güvenlik Açığı mıdır?
Arkadaşım Joseph Thacker’ın Prompt Injection’ın bir güvenlik açığı olup olmadığı hakkındaki blog yazısına yanıt vermek istiyorum.
josephthacker.com
Hızlı Enjeksiyon Bir Güvenlik Açığı Değildir (Çoğu Zaman)
Anında enjeksiyon neredeyse hiçbir zaman AI güvenlik açıklarının temel nedeni değildir; asıl sorun, modelin ne yapmasına izin verildiğidir
Ben “Evet” kampındayım. Bence Hızlı Enjeksiyon öyle bir güvenlik açığı…sende olduğunu varsayıyorum.
Öncelikle bunu tanımım olarak kullanıyorum.
Ve burada “sistem veya bileşen” bir model, bir aracı, bir uygulama vb. olabilir. Bu ayrımı yapıyorum çünkü herhangi bir uygulamadaki, özellikle de yapay zeka tabanlı olanlardaki girdilerin tüketimi, ayrıştırılması ve işlenmesi oldukça karmaşık olabilir.
Joseph’in argümanı temelde şunu söylüyor:
Hızlı enjeksiyon hakkında konuşma şeklimizi değiştirmemiz gerektiğini düşünüyorum. Pek çok güvenlik görevlisi, buna her zaman düzeltilebilecek bağımsız bir güvenlik açığıymış gibi davrandı (ben de dahil), ancak fikrimi değiştirdim ve sizi de aynısını yapmaya ikna edeceğim!
Hızlı enjeksiyon genellikle bir güvenlik açığından ziyade bir dağıtım mekanizmasıdır. Ve bu konudaki netliğin olmayışı, Yapay Zeka Güvenlik Açığı raporlarının ele alınmasında çok fazla kafa karışıklığına neden oluyor. Bu, hata ödülü avcılarına (ben ve arkadaşlarım dahil) para kaybettiriyor ve geliştiricilerin düzeltmelere yanlış öncelik vermelerine neden oluyor. Bu yüzden bu yazının bazı şeyleri açıklığa kavuşturmaya yardımcı olacağını umuyorum.Joseph Thacker
Ve asıl iddiası:
Benim ana iddiam, (yaklaşık %95) asıl güvenlik açığının, modelin yapmasına izin verdiğimiz şey olduğudur. Yapmak hızlı enjeksiyonlarla tetiklenen kötü amaçlı çıktıyla. Bu durumlarda temel neden, enjeksiyonun kendisi değil (ki bu kaçınılmaz olabilir), hızlı enjeksiyonla elde edilebilecek olandır.Joseph Thacker
Bu argümanı ikna edici buluyorum ve geçmişte ben de onunla flört ettim. Ama sonuçta bunun doğru olduğunu düşünmüyorum.
Sonuçta, ödüllerin ve şirketlerin kırılganlıklar için değil etkiler için para ödediğini söylüyor.
Tüm bunların ortaya çıkardığı soru, eğer düzeltilemiyorsa bir şeyin güvenlik açığı olup olmadığıdır.
Joseph’in öncelikle, avcıların şirket ödül gönderim süreçlerini “Hızlı Enjeksiyon” güvenlik açıklarıyla doldurduğu, ancak bunun neden önemli olduğunu gösteremediği hata ödülü kullanım durumundan bahsettiğini anlamak çok önemlidir.
ŞİRKET:
Tamam ama bununla ne yapabilirsin?
AVCI:
Bildiğim bir şey yok ama Hızlı Enjeksiyon gerçekten kötü.
Bu açıdan bakıldığında Joseph’in bakış açısını anlamak kolaydır. Temel olarak, “Bir sorunu ortaya koyamıyorsanız, bu bir sorun değildir.”
Bu argümana güçlü bir şekilde katılıyorum, ancak bir benzetmeyle gösterebileceğim bir şeyin eksik olduğunu düşünüyorum.
Papa’nın kalabalıklarla etkileşime girmesi gerekiyor. Bu sadece yapması gereken bir şey.
Ve kalabalıklarla ilgili sorun şu ki Sadece onlara bakarak iyi insanları kötülerden ayıramazsınız.
Bu benzetmede Papa’nın kalabalıklara yaklaşmak zorunda olması tıpkı uygulamaların kullanıcılardan girdi almasına ihtiyaç duyması gibidir. Ve kalabalığın içinde kimin iyi ya da kötü olduğunu sadece onlara bakarak anlayamayacağınız gerçeği de Prompt Injection güvenlik açığıdır.
Bileşenlerin haritalanması
Bu aslında birçok nedenden dolayı harika bir benzetmedir.
Birincisi, çözülmesi neredeyse imkansız bir şey çünkü birine bakıp onun kalbinde ve aklında ne olduğunu bilemezsiniz. İkincisi, riski önemli ölçüde azaltan, uygulayabileceğiniz birçok savunma katmanı vardır.
- İnsanların metal dedektörlerinden geçmesini sağlayarak bölgeye erişimi kontrol edebilirsiniz.
- Papa’nın yanında yaya güvenlik görevlilerini kullanarak kalabalığı izleyebilirsiniz.
- Papa’yı kurşun geçirmez şeffaf bir kutuya koyabilirsiniz, böylece onu bıçaklamak veya vurmak çok daha zor olur
Sonsuz anlamsal tartışmalara aşina olduğumdan, tartışmaları kategorizasyon veya etiketlere dayandırmakta tereddüt ediyorum. Ancak sorunun bir güvenlik açığı olarak değerlendirilmesi için güçlü bir neden olduğunu düşünüyorum.
Hızlı Enjeksiyonu (veya kalabalığın tehlikesini anlayamamayı) bir tür Risk Arka Plan Gürültüsü olarak değerlendirirsek, çözüm aramayı bırakırız.
Yaratıcı, problem çözen zihinlerimizi devre dışı bırakırız ve bunun sonucunda gereğinden fazla risk kabul edebiliriz.
Ancak bunu bir güvenlik açığı olarak görürsek, metal dedektörleri ve Popemobiles’ın AppSec eşdeğerlerini aramaya devam ediyoruz.
Bunun neden bir güvenlik açığı olduğuna ve bunu neden bir güvenlik açığı olarak değerlendirmemiz gerektiğine dair argümanım bu.
Ancak kafa karışıklığının bir kısmı, Prompt Injection’ın günlük güvenlik tartışmalarında birden fazla rolü üstlenebilmesinden kaynaklanıyor.
- Olabilir teknik / mekanizma:
“Veri Sızıntısı saldırısı başlatmak için Prompt Injection’ı kullandılar…”
- Bu bir olabilir saldırı:
“Uygulamanın Aracısını İstemi Enjeksiyon yoluyla zehirlediler…”
- Ve bu bir olabilir güvenlik açığı:
“Uygulama, İstemi Enjeksiyona karşı savunmasız…”
Ancak yukarıdaki nedenlerden dolayı, # 3’ün gerçek ilkel olduğunu ve # 1 ve # 2’nin bunu gerçek dünyada tartışmak için pratik dil tutamaçları olduğunu söyleyebilirim.
Aslında “Hızlı Enjeksiyon” terimini icat eden Simon Willison, ayrım çizgisini şöyle çiziyor:
- Prompt Injection, içerik ve talimatların karıştırılmasıdır
- Jailbreaking güvenliği atlamaya çalışıyor
Bunların oldukça temiz olduğunu düşünüyorum ve yukarıdaki tartışmamla örtüşüyorlar.
Güvenlik uzmanı arkadaşım ve arkadaşım Jason Haddix bunun çok düşük seviyeli olduğunu düşünüyor ve daha alt küme tipi bir tanımı tercih ediyor:
Jason’ın tanımının basitliği nedeniyle bazı yönlerden pratik olarak üstün olduğunu düşünüyorum, ancak bunun üzerinde belirli bir işlem yapmaya yetecek kadar yüksek çözünürlük olduğunu düşünmüyorum. Bu yüzden katı tanımların sorunu yaşayanlar için daha yararlı olduğunu düşünüyorum.
Temel olarak, bir şeyin güvenlik açığı olup olmadığını (ve buna sahip olup olmadığınızı) ortaya koymanın asıl amacı, onun sunduğu riski ortadan kaldırmak (veya en azından azaltmak) için bir plan oluşturmaktır. Yeterince spesifik değilse bunu yapmak zordur.
Bu Joseph’in de argümanı, ancak bence güvenlik açığından kaynaklanan riski tamamen ortadan kaldırmadan azaltabileceğiniz gerçeği, Güvenlik Açığı etiketinin kullanılmaya devam edilmesini garanti ediyor.
