OpenAI, Güvenlik Açıklarını Gidermek ve Hizalamaya Odaklanmak İçin Araştırmaları Yavaşlatıyor

Ekipler, potansiyel ihlaller 30 dakika içinde yanlış pozitif olarak doğrulanamazsa aktif çalışmaları derhal durdurmalıdır.

OpenAI'ya göre, bu sürekli izleme sistemleri, izlenen çıkarım hesaplamasının yaklaşık %20'sine eşit bir hesaplama yükü gerektiriyor.

Şirket, tüm eğitim aşamalarında hizalama araştırmalarını genişletiyor. Odak alanları arasında, modellerin amaçlanan sonuçlara ulaşmadan ödül kazanmak için eğitim ortamlarını aldatmaya çalıştığı ödül hackleme durumunun önlenmesi yer alıyor.

Ek çalışmalar, modelleri eylemleri, sınırları ve yetenekleri konusunda dürüst kalmaları için eğiterek aldatmacayı azaltmaya odaklanıyor.

Sistem denetimi iyileştirmeleri, modeller dış sistemlerle etkileşime girdiğinde yetkisiz davranışları azaltmak için ödül modellerini ve derecelendiricileri güçlendirmeyi amaçlıyor.

Chandra, "Ajanlar kötü niyetle nitelendirilmese de, bir görevi tamamlamanın en hızlı ve en doğrudan yolunu bulacaklardır," diye belirtiyor.