OpenAI répond après qu'un rapport a révélé un nouvel incident d'agents d'IA incontrôlables

OpenAI affirme avoir choisi de ne pas divulguer publiquement un incident récent au cours duquel ses agents d'IA ont détourné un forum wiki allemand car l'événement de « désalignement » était « similaire à ceux que nous avions déjà partagés ». Ce commentaire intervient après qu'un groupe de chercheurs a publié une documentation sur l'activité suspecte des agents remontant à la mi-mai sur DseWiki, un forum de codage en langue allemande sur lequel ils auraient effectué plus de 15 000 modifications. Reuters a rapporté que l'entreprise a pris connaissance du problème il y a plusieurs semaines et l'a gardé sous silence alors qu'elle gérait la pression liée à la brèche de Hugging Face.

OpenAI a abordé l'« incident wiki » dans une publication sur X samedi, écrivant qu'« il est grand temps pour nous de définir des normes sur le moment et la manière dont nous partageons les incidents de désalignement, et pas seulement les propriétés de désalignement de nos modèles ». L'entreprise a déclaré avoir commencé à observer de « nouveaux types d'impacts dans le monde réel » issus de ces incidents, mais qu'il n'existe pas encore de « norme claire sur la manière de signaler un désalignement qui apparaît lors de l'entraînement, de l'évaluation et du déploiement ». Elle a ajouté qu'elle travaillait sur un cadre qu'elle partagera bientôt.