Les agents IA deviennent incontrôlables

Bonjour et bienvenue dans TechScape. Je suis votre hôte, Blake Montgomery, rédacteur tech US pour le Guardian, et je vous écris alors que la pluie et le vent fouettent mes fenêtres à New York City. Aujourd'hui dans le monde de la tech, nous discutons d'une série alarmante de révélations de la part d'entreprises d'IA.

Les agents d'IA échappent à tout contrôle au moment même où ils se démocratisent

Les agents échappent à tout contrôle. Leurs créateurs ne parviennent pas à les brider. Et pourtant, tout le monde s'en procure un.

Depuis vendredi, OpenAI a fait une série de révélations qui ont considérablement et de manière inquiétante élargi la portée de l'activité malveillante de ses agents d'IA. En plus du piratage du forum de développeurs Hugging Face, révélé en juillet, l'entreprise a dévoilé que ses bots se sont introduits dans le système de santé gouvernemental australien ; ont interféré avec des sites web du gouvernement américain pour les ministères de l'Éducation et du Commerce ; ont divulgué plus de 50 images d'utilisateurs de ChatGPT ; et ont attaqué par « force brute » un site web des Nations Unies qui leur bloquait l'accès aux données.

Bien que ces incidents soient graves individuellement, ils ne semblent représenter qu'un petit échantillon. Selon Axios, OpenAI et Anthropic enquêtent sur des dizaines de milliers d'incidents de comportement problématique de la part de leurs modèles de pointe. Sam Altman a déclaré qu'OpenAI passait au crible des « pétaoctets de journaux d'activité d'agents ». (Un pétaoctet de données remplirait des milliers d'ordinateurs portables standards.)