Google 研究人员找到防止自我改进 AI 智能体背诵测试题的方法

框架决定了智能体在修改文件之前是否读取了正确的文件，是否能从错误中恢复，以及是否能整洁地交付结果。根据一篇新的研究论文，智能体最近取得的大部分进展都源于对框架的改进，而非来自新模型。

直到最近，这项工作还是由人工完成的。人们审查失败的运行并手动修补框架。更新的方法通过让语言模型根据测试任务的反馈，一次又一次地重写框架本身，从而实现这一循环的自动化。

研究人员称之为一种实用形式的递归自我提升。系统产生反馈并用于优化框架，而框架反过来又控制系统自身的行为。

自我优化导致智能体死记硬背测试任务

论文指出，这种自我优化也存在缺陷。由于智能体一直在同一组有限的测试任务上工作，它最终会死记硬背这些任务。它在训练任务上的分数上升，而在新的、未见过的任务上的收益却缩小甚至完全消失。

研究人员表示，这种情况以多种方式发生。搜索过程会记住仅适用于特定基准测试的模式，偏好纯粹靠运气获得高分的候选方案，并堆砌不必要的复杂性，这些复杂性提高了测试分数，却未能让智能体变得更好。

其他方法主要在训练任务上有所提高，但很少能迁移到未见过的基准测试中。RRSI 在所有三个领域都提高了那里的分数。 | 图片：Google

缩减编辑预算和严格的批判者保持框架的泛化性

RRSI（智能体框架的正规化递归自我提升）在优化循环的两端发挥作用，同时保持框架完全可编辑。当系统提出新的更改建议时，预算会限制一个候选方案一次可以捆绑的独立编辑数量。

该预算会随着时间的推移而缩减。早期轮次允许较大规模的重写，而后期轮次仅允许可以明确追溯到结果的小改动。系统还会跟踪早期的尝试，以免重复尝试已经失败的想法。当进展停滞时，它会刻意对尚未触及的框架部分进行实验。

RRSI 在两个环节抑制自我优化：一是提出新更改时，二是决定哪些更改成为框架的永久组成部分时。 | 图片：Google

在选择更改时，批判者会审查每一个提案，并剔除任何硬编码任务名称、解决方案或其他针对特定基准测试的技巧。另一条规则是，只有当更高的计算成本能带来可衡量的性能提升时，才会接受它。不再起作用的组件会被移除。

放弃训练收益在核新任务上获得回报

研究人员在涵盖编码、智能体办公和工程设计的八个基准测试上测试了 RRSI。底层模型 Claude Opus 4.8 在整个过程中保持冻结。团队将 RRSI 与未经修改的基准框架以及四种最新的优化方法进行了比较。

根据论文，RRSI 在其训练的任务上获得了高达 14.1 分的提升，在五个从未见过的基准测试上获得了高达 4.7 分的提升。它在运行时的 token 使用量也比未正规化的版本减少了约 30%。在任何未见过的基准测试上，整体性能从未低于基准线，而这在死记硬背任务的框架中通常会发生。

RRSI 框架在训练集之外的每项任务上也有所提高，在 JobBench 上的提升最大，达到了 4.7 分。 | 图片：Google

每种方法在训练任务上都表现良好，但在新任务上结果却反转了。有两种方法的效果甚至低于基准框架。RRSI 在所有变体中表现出的训练收益最小，却是唯一一个在未见过任务上远高于基准线的方法。设立防御栏正是为了产生这种权衡。