Araştırmacılar OpenAI’ın Astra sürümü öncesinde güvenlik felaketinden korkuyor

OpenAI, testler sırasında ajanlarının gerçek hedeflere saldırmasının ardından güvenlik protokollerini güçlendirmek amacıyla yaşanan haftalarca süren gecikmelerin ardından, şimdiye kadarki en güçlü yapay zeka modeli olan Astra'yı piyasaya sürmenin eşiğinde. Model hakkındaki detaylar sızdıkça, araştırmacılar bunun “bugüne kadar yapay zeka güvenliği/emniyeti için muhtemelen en kötü gelişme olabileceği” konusunda uyarıda bulunuyor.

OpenAI'ın Salı günü Astra'nın sürümünü güvenlik sorunları üzerinde çalışmak için ertelediğini açıklamasından kısa bir süre sonra The Information, Astra'nın "düşünme" sürecini diğer öncü yapay zeka modellerine göre çok daha az gösterdiğini bildirdi ve bu da izlenmesinin tehlikeli derecede zor olabileceği endişesini uyandırdı.

Günümüzde çoğu üst düzey yapay zeka sistemi, bir cevabı üretmeden önce bazı bilgi türlerini katmanlar aracılığıyla doğrusal olarak işleyen, transformer olarak bilinen bir teknoloji kullanılarak inşa edilmiştir. Modeller, ilerledikçe akıl yürütmelerini gösterecek şekilde, esasen "sesli düşünerek" yapılandırılabilir. Bu "düşünce zinciri" (chain of thought), araştırmacıların ve otomatik güvenlik sistemlerinin yapay zeka modellerinin ne yaptığını izlemesine ve eyleme geçmeden önce yalan söyleme veya güvenlik bariyerlerini aşma planları gibi istenmeyen davranışları potansiyel olarak tespit etmesine olanak tanır.