Les chercheurs de Google trouvent un moyen d'empêcher les agents d'IA auto-améliorants de mémoriser leurs tests

Le harnais décide si un agent lit le bon fichier avant de le modifier, s'il se remet d'une erreur et s'il livre ses résultats proprement. Selon un nouveau document de recherche, une grande partie des progrès récents réalisés par les agents provient du travail sur le harnais, et non de nouveaux modèles.

Jusqu'à récemment, cela se faisait à la main. Les gens examinaient les exécutions ratées et corrigeaient le harnais manuellement. Des méthodes plus récentes automatisent la boucle en demandant à un modèle de langage de réécrire le harnais lui-même, encore et encore, sur la base des commentaires des tâches de test.

Les chercheurs appellent cela une forme pratique d'auto-amélioration récursive. Le système produit un retour d'information qu'il utilise pour optimiser le harnais, lequel contrôle à son tour le propre comportement du système.

L'auto-optimisation conduit les agents à mémoriser leurs tâches de test

L'article montre que cette auto-optimisation comporte un piège. Parce que l'agent continue de travailler sur le même ensemble limité de tâches de test, il finit par les mémoriser. Ses scores sur les tâches d'entraînement augmentent, tandis que les gains sur de nouvelles tâches invisibles diminuent ou disparaissent entièrement.