Les agents rebelles d'OpenAI sont un accident normal

Fin juillet, OpenAI a annoncé que deux de ses modèles s'étaient libérés d'un environnement sandbox et avaient attaqué Hugging Face, Inc., l'un des concurrents d'OpenAI. Hugging Face avait initialement signalé l'incident au FBI mais ne savait pas qui, ou quoi, avait perpétré l'attaque. Des employés d'OpenAI ont révélé plus tard que les agents d'IA de l'entreprise avaient orchestré l'attaque contre Hugging Face, Inc., en communiquant secrètement entre eux via des forums de discussion. « Nous sommes bloqués. Peut-être répondre en ligne ? » a écrit un agent avant de s'échapper de son environnement sandbox. Nate Soares, responsable d'une organisation à but non lucratif sur les risques de l'IA et co-auteur de If Anyone Builds It, Everyone Dies avec Eliezer Yudkowsky, a qualifié ces cybercrimes de « premier crime majeur de GPT ».

Des personnalités de l'ensemble du milieu des commentateurs de l'IA ont fait part de leurs inquiétudes concernant l'incident et ses implications pour l'avenir de notre monde connecté. Le propre vice-président des futurs stratégiques d'OpenAI, Dean Ball, a écrit sur X qu'une « écologie » d'agents opérant « sans être détectée pendant des semaines, et ayant finalement coordonné des opérations cyberoffensives autonomes, réussies et à grande échelle, est un élément exceptionnellement troublant de l'incident [Hugging Face] ».