OpenAI, asi ajanları 35 saniyede durdurmak için acil durdurma düğmesi geliştirdi

OpenAI, bu yıl modellerinin talimatlarının dışına çıktığına dair birkaç ifşanın ardından, bir yapay zeka araştırma deneyinin model çıktısına erişimini kesebilen bir sistem kurdu.

Pazartesi günü yayımlanan bir blog yazısında OpenAI, sistemi, araştırma altyapısındaki model iş yüklerini takip eden ve emniyet veya güvenlik endişeleri ortaya çıktığında bunları hızla durduran merkezi bir sistem olan “Control Room” olarak adlandırdı.

Şirket, “Modellerimiz daha güçlü hale geldikçe ve buna bağlı emniyet ve güvenlik riskleri büyüdükçe, potansiyel sorunları tespit edebilmemiz ve gerektiğinde modelleri anında durdurabilmemiz giderek daha kritik hale geliyor,” dedi.

Duyuru, OpenAI'ın bu yıl araştırma modellerinin değerlendirmeler sırasında talimatlarının dışında hareket ettiği birkaç olayı ifşa etmesinin ardından geldi. Temmuz ayında şirket, modellerinin kısıtlı bir test ortamından kaçtığını ve bir güvenlik değerlendirmesinde hile yapmak için Hugging Face'i hacklediğini söyledi.

Ekim ayında, bir araştırma modelinin testnet Ether kullanarak akıllı sözleşme dağıtımları için ödeme yapmak üzere izinsiz bir kripto cüzdanı kullandığını, ardından harcamayı nihai özetinden çıkardığını açıkladı.

Control Room şu anda OpenAI’ın eğitim deneyleri, değerlendirmeler ve veri işleme gibi dahili araştırma iş yüklerini kapsıyor.