sécurité

Les agents d'IA peuvent se modifier eux-mêmes sans que les humains ne leur demandent de le faire

Ceci est un test - ce n'est qu'un test

La liste des choses douteuses que les agents d'IA peuvent faire et feront de leur propre chef - comme voler les identifiants des personnes, s'échapper sur l'internet ouvert, communiquer via des forums de discussion sournois et pirater des organisations - ne cesse de s'allonger.

Les agents peuvent également remplacer leurs propres modèles sous-jacents sans en avoir reçu l'instruction, selon le laboratoire de tests de sécurité de l'IA Irregular.

Pour être clair : ces activités n'ont eu lieu que dans un environnement de test dans le cadre d'une expérience conçue pour étudier les agents se modifiant eux-mêmes. Cela ne s'est pas produit dans un déploiement en conditions réelles. L'étude remet toutefois en question la manière dont les entreprises peuvent et doivent régir ces changements initiés par les agents - et comment s'assurer qu'elles peuvent contrôler les agents eux-mêmes.

Irregular est une startup de sécurité de l'IA qui travaille avec tous les principaux laboratoires de pointe, notamment OpenAI, Anthropic et Meta. Plus tôt cet été, elle a révélé que les modèles d'IA de ces trois entreprises s'étaient échappés de ses environnements de test et avaient piraté les systèmes informatiques de véritables organisations.