Pesquisadores do Google encontram forma de impedir que agentes de IA de autoaperfeiçoamento memorizem seus testes

O harness decide se um agente lê o arquivo correto antes de alterá-lo, se ele se recupera de um erro e se entrega seus resultados de forma limpa. De acordo com um novo artigo de pesquisa, grande parte do progresso recente em agentes vem do trabalho no harness, não de novos modelos.

Até recentemente, isso era feito à mão. As pessoas revisavam as execuções que falharam e corrigiam o harness manualmente. Métodos mais novos automatizam o ciclo fazendo com que um modelo de linguagem reescreva o próprio harness, repetidamente, com base no feedback das tarefas de teste.

Os pesquisadores chamam isso de uma forma prática de autoaperfeiçoamento recursivo. O sistema produz feedback que utiliza para otimizar o harness, que, por sua vez, controla o próprio comportamento do sistema.

A auto-otimização leva os agentes a memorizarem suas tarefas de teste

O artigo mostra que essa auto-otimização tem uma pegadinha. Como o agente continua trabalhando no mesmo conjunto limitado de tarefas de teste, ele acaba memorizando-as. Suas pontuações nas tarefas de treinamento aumentam, enquanto os ganhos em tarefas novas e não vistas diminuem ou desaparecem inteiramente.

Os pesquisadores dizem que isso acontece de várias maneiras. A busca memoriza padrões que se ajustam apenas a um benchmark específico, favorece candidatos que pontuam bem puramente por acaso e acumula complexidade desnecessária que aumenta a pontuação do teste sem tornar o agente melhor.