OpenAI suspend un entraînement majeur d'IA de pointe en raison de risques cyber

OpenAI a temporairement suspendu l'entraînement par apprentissage par renforcement (RL) sur ses derniers modèles destinés au déploiement pendant deux semaines, le temps de renforcer et de mener des simulations d'attaques (red-teaming) sur ses environnements de recherche et d'étendre la surveillance.

« Notre plus importante session de RL frontier prévue reste en suspens pendant que nous menons des entraînements et des évaluations à plus petite échelle pour évaluer le comportement des modèles, valider nos garde-fous et établir davantage de preuves d'alignement avant de poursuivre », a déclaré l'entreprise.

Cette décision fait suite à l'incident OpenAI-Hugging Face et aux preuves préliminaires que le futur modèle Astra de l'entreprise pourrait atteindre le seuil critique de capacité en cybersécurité défini par son Preparedness Framework.

Les changements visent à renforcer la surveillance, l'alignement et le confinement tout au long du développement des modèles.

OpenAI a présenté des mises à jour de ses processus de recherche et de son infrastructure, ainsi que les travaux qui restent en cours.

Établir des garde-fous pour des modèles plus performants

Le développement de modèles plus performants repose sur trois garde-fous qui se renforcent mutuellement. La surveillance aide à détecter et à répondre aux comportements préoccupants, l'alignement réduit la probabilité d'actions nuisibles ou non autorisées, et les mesures de sécurité limitent ce que les systèmes d'IA peuvent consulter ou affecter.