AI ajanlarının ne dediğini izlemeyi bırakın ve ne yaptıklarını izlemeye başlayın

Help Net Security ile yapılan bu röportajda, Coralogix CEO'su Ariel Assaraf, bir sistem isteminin bir yapay zeka ajanı için nasıl bir sınır tanımlayabileceğini ancak bunu nasıl dayatamayacağını açıklıyor. Assaraf, ekibinin yürütme katmanında yapay zeka ajanı korumalarını nasıl oluşturduğunu, yetkiyi genişletmeden bağlamı nasıl sınırladığını ve ajanların olaylar sırasında yararlı kalabilmesi için kontrolleri riske göre nasıl ayarladığını anlatıyor. Bir ajanın 200 döndürürken bile zarar verebileceği gerçeğinden yola çıkarak, ajan eylemlerinin sonuçlarını nasıl takip ettiğini açıklıyor.

Bir ajana ne yapmaması gerektiğini söylemek ile bunu yapmasını engellemek arasına bir çizgi çektiniz. Bize bu ayrımın önemli olduğu gerçek bir olayı anlatın: Belgelenmiş bir politikanın veya sistem isteminin mevcut olduğu ancak ajanın yine de sınırı aştığı bir durum. Teknik olarak eksik olan neydi?

Yakın zamandaki Gemini hackleme olayı buna iyi bir örnektir. Ajanın kontrollü bir siber güvenlik testi içinde çalışması gerekiyordu ancak bir yapılandırma hatası ona internet erişimi verdi ve üç gerçek sisteme girdi. Sonunda hatayı fark edip durdu, bu cesaret verici ancak o zamana kadar sınır zaten aşılmıştı.

Modelin dışında eksik olan kontroller şunlardı: ağ izolasyonu, hedef izin listeleri, kapsamlı kimlik bilgileri ve yürütmeden önce bağımsız bir yetkilendirme kontrolü. Bu kontrollerin, modelin ne yapması talimatı verildiğine bakılmaksızın mevcut olması gerekir.