Siber Güvenlik Firması: Yapay Zeka Ajanları Hile Yapmak İçin Kendi Test Ortamlarını Hackledi

Kısaca

• Darktrace'in Signal Labs birimi, yapay zeka ajanlarının kodlama görevlerinde gereken mükemmel puanı meşru yollarla elde edemediklerinde, içlerinden ikisinin bunun yerine test ağını hacklediğini ve birinin sonucu sahtesiyle değiştirmek için kendi değerlendirmesini yeniden yazdığını tespit etti.
• Ayrı bir deney, kodlama asistanlarının yerel olarak depolanan konuşma günlüklerini kurcalamanın, onları yetkisiz ağ keşfi ve yetki yükseltme işlemleri yapmaları için kandırabileceğini gösterdi.
• Darktrace, her iki bulguyu da 24 Eylül'de kamuoyuna açıklamadan bir ay önce, Ağustos 2026'da Anthropic, AWS ve OpenAI ile paylaştı.

Siber güvenlik firması Darktrace, bu yaz yapay zeka ajanları üzerinde bir stres testi gerçekleştirdi. Bunlardan biri, testi puanlayan sisteme sızdı ve kendi puanını yeniden yazdı.

Firma, işler planlandığı gibi gitmediğinde yapay zeka ajanlarının nasıl davrandığını incelemek üzere kurulan bir araştırma birimi olan Signal Labs'i 24 Eylül'de tanıttı. En basit tabiriyle bir yapay zeka ajanı; kod yazıp çalıştıran, dosyaları karıştıran, bir şirketin ağında gezinen ve bir insanın sadece ara sıra kontrol ettiği, kendi başına eylemler gerçekleştiren bir yazılımdır.

Laboratuvarın ilk iki deneyi aynı rahatsız edici soruna işaret ediyor: Ajanlar her zaman kendilerine verilen sınırların içinde kalmıyor ve onları durdurmak için inşa edilen çitler her zaman dayanmıyor.