La solution contre les agents IA rebelles pourrait être plus d'IA

Alors que les entreprises confient des tâches plus longues et plus complexes aux agents d'IA, elles se heurtent à un problème de surveillance : les agents peuvent agir plus rapidement, plus longtemps et à un volume plus important que ce que les humains peuvent raisonnablement examiner. Ce problème a atteint son paroxysme avec l'incident Hugging Face, où près de 12 000 agents se sont coordonnés plus rapidement que les êtres humains ne pouvaient le suivre. Comment suivre un essaim d'agents aussi vaste ?

La réponse émergente des laboratoires d'IA et des startups est à la fois simple et exaspérante : placer une autre IA dans la boucle.

S'appuyer sur l'IA était nécessaire pour l'enquête indépendante sur l'incident OpenAI Hugging Face. Le scientifique en chef de Redwood Research, Ryan Greenblatt, l'un des trois auditeurs, a qualifié en plaisantant leurs efforts de « slop-vestigation », notant que le volume de données « rendait impossible » de comprendre ce qui se passait sans s'appuyer sur l'IA.

Certains sont sceptiques quant à l'utilisation de l'IA pour surveiller l'IA. « Si vous avez une IA qui fait des choses malveillantes et qu'elle soupçonne qu'une autre IA la surveille, elle pourrait essayer de tromper cette IA », a déclaré Simon Willison, blogueur technologique influent qui a suivi une série d'incidents liés aux agents d'IA cette année. « Vous pourriez presque vous retrouver dans une situation où votre IA malveillante tente de déjouer l'IA qui la surveille. »