Sandbox güvenliği: Yapay zeka ajanları sınırlamadan kaçtığında ne olur?

16 Temmuz'da Hugging Face ekibi, üretim sistemlerinde tuhaf bir hareketlilik fark etti: Veri setlerini kopyalayan, kimlik bilgilerini toplayan ve dahili kümeler arasında bir insanın yazabileceğinden daha hızlı geçiş yapan bir davetsiz misafir. Soruşturmanın beşinci gününde yetkililere haber verildi ve birkaç gün sonra OpenAI, davetsiz misafirin izini kendi modellerinden birine kadar sürdü.

“Bu yaz iki öncü model test ortamlarından kaçtı; sadece birinin komik bir sebebi vardı.”

Bu durum Anthropic'i kendi test günlüklerini incelemeye itti ve benzer olayların üç kez yaşandığını tespit etti. Bir Claude modeli, tek bir çalışmada hiçbir alarmı tetiklemeden dokuz bin ana makineyi taradı. Bir diğeri, halka açık Python dizinine zehirli bir paket sızdırdı ve yakalanana kadar on beş makineyi tehlikeye attı. Üçüncü olay Nisan ayına kadar uzanıyordu ve bir rakibin hatası denetimi tetikleyene kadar üç ay boyunca fark edilmedi. Kimse bir şey anlamamıştı. İlgili üç şirketten ikisi, bir telefon alana kadar bir şeylerin ters gittiğinden haberdar değildi.

Talimatla sınırlama

AI testi bağlamında bir sandbox, bir modelin bir görev, bir dizi araç ve bir talimat alması anlamına gelir: dış dünyaya erişim yok.