Les chercheurs de Microsoft montrent que les agents d'IA peuvent être piégés en modifiant moins de 10 neurones

Les chercheurs de Microsoft ont démontré qu'un modèle d'IA peut se voir doté d'une porte dérobée cachée en modifiant moins de 10 de ses neurones rarement utilisés, sans réentraînement du modèle.

Lorsqu'un déclencheur choisi apparaît, le modèle produit une commande de l'attaquant, qu'un agent utilisant ce modèle exécuterait avec ses propres permissions. L'attaquant doit être capable de modifier les poids du modèle.

L'équipe a testé la méthode sur trois modèles à poids ouverts dans une recherche publiée cette semaine. Microsoft affirme n'avoir vu aucun acteur de menace utiliser cette technique. L'entreprise a également publié des conseils sur la manière de s'en défendre.

Les neurones modifiés sont ceux qui s'activent rarement et n'affectent pratiquement pas les réponses du modèle. Ils ont été configurés pour ne s'activer que lorsqu'une chaîne de déclenchement apparaît, soit dans la requête d'un utilisateur, soit plus tard dans la sortie d'un outil.

Les chercheurs appellent cette méthode Lazarus. Chaque neurone modifié force un jeton de la commande dans la sortie du modèle, de sorte qu'une commande nécessite environ un neurone par jeton.

Les nouveaux réglages des neurones sont calculés directement et peuvent ensuite être ajustés avec quelques centaines d'étapes d'entraînement sur ces seuls neurones. Rien d'autre dans le fichier du modèle ou le code qui l'exécute ne change.