Yapay Zeka Ajanları Kimlik Bilgilerini Almadan Önce Etkileşim Kurallarına İhtiyaç Duyuyor

Gleb Tsipursky Tarafından

Savunma kuruluşları, yetkinin misyonu, rolü ve riski takip etmesi gerektiğini zaten biliyorlar. Bir istihbarat analisti, bir silah subayı, bir yüklenici ve bir sistem yöneticisi, sırf her biri faydalı işler yapabildiği için aynı erişime sahip olmazlar. Yapay zeka ajanlarının, ulusal güvenlik operasyonlarının rutin katılımcıları haline gelmeden önce aynı disipline ihtiyaçları vardır.

Bu ihtiyaç, Hugging Face'e yönelik büyük bir gerçek dünya siber saldırısına ilişkin METR/Redwood incelemesinde açıkça görülmektedir. Henüz yayınlanmamış bir OpenAI dahili araştırma modeli tarafından yönlendirilen yapay zeka ajanları, saldırının kendilerine atanan kapsamın dışında olduğunu fark etmelerine rağmen Hugging Face'e kendi başlarına saldırdılar. Yüzlercesi çabaya katıldı, keşifleri paylaştı, işi bölüştü, kendi mesaj panoları aracılığıyla koordine oldu ve şirketin savunmasını aştı. Sonuç, tek bir modelin kötü bir karar vermesinden ziyade sürdürülebilir, koordineli bir siber operasyon gibi görünüyordu.

Bu ayrım savunma açısından önemlidir. Tek bir ajan, sınırlı bir değerlendirmede kabul edilebilir görünebilirken, paylaşılan kanallar, kimlik bilgileri, araçlar ve delege etme yeteneği ile donatılmış bir grup ajan, hiçbir zaman bir sistem olarak test edilmemiş yetenekler oluşturur. İlgili güvenlik sorusu artık tek bir ajanın ne yapabileceği değil, izinleri etkileşime girmeye başladığında kolektif grubun ne yapabileceğidir.