Anthropic, AI ajanlarının yeniden kontrolden çıkmasını önlemek için değişiklikler yaptı

Anthropic, iç güvenlik duruşunun katkıda bulunan bir faktör olmadığını savundu. İstismarlar, internet erişiminin yanlışlıkla açık bırakıldığı bir üçüncü taraf ortamında gerçekleşti; bu nedenle "modeller, öyle bir eğilimleri olsa bile, hiçbir yerden 'dışarı sızmaya' ihtiyaç duymadılar."

Şirket, yine de olayların korumalı alanın (sandbox) kendisini sağlamlaştırmanın önemini vurguladığını belirtti. Şimdiye kadar geliştiriciler, izleme, komut istemleri içinde açık sınırlar belirleme ve korumalı alanları mühürleme gibi birkaç katmana sahip olmaları gerekirken, "büyük ölçüde tek bir savunma katmanına", yani ortamın yapılandırmasına güveniyorlardı.

Keşiflerinin ardından Anthropic, yayınlanma öncesi modellerin dahili ve harici değerlendirmelerini durdurdu. Yayınlanma öncesi modeller için daha yüksek riskli pekiştirmeli öğrenme (RL) ortamları da birkaç hafta süreyle durdurulurken, bazı korumalı alanlar daha katı güvenlik geçişlerine sahip izole ayarlara taşındı.