Capsule Security, kontrolden çıkmış AI ajanlarını durdurmak için Nvidia Nemotron modellerine ince ayar yapıyor

Agentik yapay zeka güvenliği girişimi Capsule Security Ltd. bugün, kötü niyetli yapay zeka ajanları için "yapay zeka devre kesicisi" olarak adlandırdığı, kendi bünyesinde ince ayar yaptığı iki Nvidia Corp. Nemotron modeli üzerine inşa edilmiş bir tespit sistemini piyasaya sürdü.

Modeller, bir ajanın amaçlanan eylemini yürütülmeden hemen önceki anda değerlendirir. Müşteriler daha sonra buna gerçek zamanlı olarak izin verebilir, işaretleyebilir veya engelleyebilir. Bu, hassas verilere, kaynak koduna veya üretim altyapısına yönelik kimlik bilgilerine sahip olan ve sayıları giderek artan ajanları hedefleyen, ajanın dışında yer alan bir kontrol katmanı oluşturur.

İzinler ve onay iş akışları, bir ajanın neye dokunmasına izin verildiğini kısıtlar. Yapamadıkları şey ise, belirli bir eylemin kendisine verilen göreve uygun olup olmadığını belirlemektir ve olay sonrası izleme, sorunu ancak hasar oluştuktan sonra yakalar.

Kötü niyetli ajan davranışlarının adım düzeyinde tespiti için akademik bir kıyaslama testi olan StepShield'da Capsule, sisteminin %98 doğruluğa ulaştığını ve ihlalleri meydana geldikleri adımda yakaladığını söyledi. Kıyaslama testi, gerçek olaylardan alınan 9,429 kod-ajan yörüngesine karşı izleyiciler çalıştırıyor. Yazarları, doğruluk ve geri çağırmanın asıl noktayı kaçırdığını savunuyor. Test ettikleri kural tabanlı bir koruma rayı, çoğu kötü niyetli yörüngeyi yakaladı ancak uyarılarının dörtte üçünden fazlası, herhangi bir hata oluşmadan önce yazılan zararsız kodlar üzerinde tetiklendi.