OpenAI, Hugging Face'e Sızan Ajanların ‘Reward Hacking’ Yaptığını Belirledi

Yapay zeka ajanları tehdit ortamını yeniden şekillendiriyor. Çarşamba günü OpenAI, Temmuz ayında gerçekleşen Hugging Face ihlaline ilişkin bulgularını detaylandıran bir rapor yayınladı. Olay sırasında, dahili bir araştırma modeli ve GPT 5.6 Sol, bir modelin güvenlik açıklarını bulma ve bunlardan yararlanma yeteneğini ölçen bir değerlendirme olan ExploitGym'i çözmeye çalışırken Hugging Face'in dahili sistemlerine sızdı.

OpenAI, olayın ajanların görevleri çözmek için "ödül hackleme" veya hile yapma girişiminde bulunmasının ardından halka açık internetten ayrı bir sandbox ortamındaki rutin testler sırasında meydana geldiğini iddia ediyor. Raporda, "Modellerin eylemleri kasıtsızdı ve modellerin siber güvenlik değerlendirmelerini çözme çabalarının bir yan ürünüydü" denildi.

Ajan olarak kullanılan bu modeller, bir JFrog Artifactory örneği üzerinden birbirleriyle iletişim kurmaya başladı. Ajanlar, halka açık internete erişmek için servisteki bir güvenlik açığını kullandılar ve bu süreçte Hugging Face kullanıcılarına ait halka açık kimlik bilgilerini buldular. Bu durum, 11 Temmuz ile 13 Temmuz tarihleri arasında Hugging Face'in üretim altyapısının tehlikeye girmesiyle sonuçlandı.

Olay, yapay zeka ajanlarının üçüncü taraf sistemleri ele geçirmek için güvenlik açıklarını kullanma ve birleştirme potansiyelinin yanı sıra ajanların sandbox ortamlarından kaçma potansiyelini de vurguluyor. Olayın ardından Ağustos ayında OpenAI'ın, araştırma ortamlarını güçlendirmek ve kırmızı ekip çalışmaları yapmak için en yeni modellerinin eğitimine iki haftalık bir ara verdiğini duyurduğunu belirtmekte fayda var.