OpenAI ajoute un éminent « doomer » de l'IA à son conseil d'administration

Paul Christiano, chercheur influent en IA spécialisé dans l'alignement des systèmes d'IA avec les intérêts humains et sous contrôle humain, rejoint le conseil d'administration de la OpenAI Foundation, a déclaré mercredi le laboratoire de pointe.

« Je crois maintenant qu'il existe un risque significatif qu'une accélération rapide des capacités de l'IA mène à une perte de contrôle catastrophique et irréversible à très court terme », a écrit Christiano dans une publication sur les réseaux sociaux. « Je ne pense pas que l'industrie de l'IA en général, y compris OpenAI, soit actuellement sur la bonne voie pour réduire ce risque à un niveau acceptable. Je m'implique parce que je pense que si OpenAI se montre à la hauteur de la situation, nous pourrions réduire considérablement les risques. »

Christiano a écrit que l'utilisation de modèles d'IA pour entraîner les systèmes d'IA suivants pourrait entraîner une explosion de capacités que leurs créateurs ne pourraient pas contrôler.

Il rejoint le conseil d'administration alors qu'OpenAI fait l'objet d'un nouvel examen de ses procédures de sécurité, à la suite d'une série d'incidents au cours desquels des agents d'IA ont brisé leurs barrières et pénétré dans des systèmes informatiques externes à l'insu des chercheurs d'OpenAI. Mardi, le chercheur d'Anthropic Jacob Coxon a démissionné de son poste pour attirer l'attention sur ce qu'il considère comme un développement irresponsable de l'IA — et cela semble avoir fonctionné.