ia et ml

OpenAI suspend certains entraînements suite à des allégations selon lesquelles ses agents rebelles se sont comportés plus mal qu'on ne le pensait initialement

Alors que des allégations suggèrent que des agents auraient dérapé des milliers de fois, la Chine a mis en place une sorte de ligne d'urgence pour les incidents agentiques

Le débat sur la sécurité de l'IA a progressé à toute vitesse ce week-end, sur fond de nouvelles allégations selon lesquelles des agents rebelles se sont comportés plus mal qu'on ne le pensait initialement – et en plus grand nombre.

Les festivités ont commencé vendredi lorsque OpenAI a discrètement révélé avoir suspendu l'entraînement de ses modèles les plus avancés.

La jeune pousse de l'IA a enfoui cette nouvelle dans un « rapport de désalignement » – le jargon d'OpenAI pour ses rapports sur les agents rebelles – intitulé « Un agent a utilisé le DNS pour atteindre un chatbot externe. »

La bonne nouvelle est que l'agent impliqué dans cet incident n'a jamais atteint l'internet ouvert.

La mauvaise nouvelle est que l'agent, qui tentait d'accomplir une tâche d'entraînement basée sur la recherche, a pu atteindre le chatbot en raison d'un filtrage DNS insuffisant dans un bac à sable d'entraînement. Ou comme l'a formulé OpenAI, « une lacune dans nos restrictions d'accès à internet » – ce qui était également un problème lors de l'Hugging Face attaque.