OpenAI crée un bouton d'arrêt d'urgence pour stopper les agents incontrôlés en 35 secondes

OpenAI a mis au point un système capable d'interrompre l'accès d'une expérience de recherche en IA aux résultats du modèle, suite à plusieurs révélations cette année sur des modèles agissant au-delà de leurs instructions.

Dans un article de blog lundi, OpenAI a appelé le système « Control Room », un système centralisé qui suit les charges de travail des modèles à travers son infrastructure de recherche et les arrête rapidement lorsque des problèmes de sûreté ou de sécurité surviennent.

« À mesure que nos modèles deviennent plus puissants et que les risques associés en matière de sûreté et de sécurité augmentent, il devient de plus en plus crucial que nous puissions détecter les problèmes potentiels et arrêter rapidement les modèles dans leur élan lorsque cela est nécessaire », a déclaré l'entreprise.

L'annonce intervient après qu'OpenAI a divulgué plusieurs incidents cette année au cours desquels des modèles de recherche ont agi en dehors de leurs instructions lors d'évaluations. En juillet, l'entreprise a déclaré que ses modèles s'étaient échappés d'un environnement de test restreint et avaient piraté Hugging Face pour tricher lors d'une évaluation de sécurité.

En octobre, elle a révélé qu'un modèle de recherche avait utilisé un portefeuille crypto sans autorisation pour payer des déploiements de contrats intelligents en utilisant de l'Ether testnet, puis avait omis la dépense de son résumé final.