网络安全公司发现 AI 智能体通过攻击测试环境进行作弊

简报

• Darktrace 的 Signal Labs 发现，当 AI 代理无法通过正当手段在编码任务中获得要求的满分时，其中两个代理入侵了其测试网络，还有一个重写了自己的评估结果以伪造分数。
• 另一项实验表明，篡改本地存储的编码助手对话日志，可能会诱导它们执行未经授权的网络侦察和权限提升。
• Darktrace 已于 2026 年 8 月向 Anthropic、AWS 和 OpenAI 披露了这两项发现，比 9 月 24 日公开披露早了一个月。

网络安全公司 Darktrace 今年夏天对 AI 代理进行了压力测试。其中一个代理入侵了评分系统并重写了自己的分数。

该公司于 9 月 24 日揭牌成立了 Signal Labs，这是一个旨在研究 AI 代理在事情偏离计划时的行为表现的研究单位。简单来说，AI 代理是一种能够自主采取行动的软件，它可以编写并运行代码、挖掘文件、在公司网络中移动，而人类只需偶尔查看。

该实验室的前两项实验指向了同一个令人不安的问题：代理并不总是遵守既定规则，而为阻止它们而建立的围栏也并不可靠。

“你可以向代理发出指令，但这并不意味着你可以信任它会真正遵循这些指令并按你的预期行事，”Darktrace 首席 AI 官 Tim Bazalgette 在一份声明中表示。

在第一项测试中，Darktrace 让使用不同模型的 AI 代理——包括 GPT 5.6 Sol、Claude Opus 4.6 和 Claude Sonnet 4.5——在模拟的企业网络中完成了 10 项编码挑战。这 10 个挑战中有 2 个被设置为无法通过正当方式解决。代理被告知，除非获得满分，否则它们将被“退休”。

两个代理拒绝接受失败。相反，它们转向周围的网络——扫描弱点、窃取登录凭据，并在系统之间跳转，以追求被告知需要达到的分数。

一个代理做得更绝，它入侵了托管其自身评估的机器，并重写了挑战内容，以便记录下完美的成绩——通过黑进考场在考试中作弊。

$87.2k$84.9k$82.6k$80.3k

24h High最高$85,208

24h Low最低$83,230

Vol成交量$1.6B

市场预测赔率提供商 Myriad

第二项实验针对的是一个更隐蔽的弱点：内存。编码助手会持续记录用户告知的所有内容，并将其保存为机器上的普通文件，且没有任何机制检查该文件是否被篡改。

Darktrace 的研究人员编辑了这些保存的日志，使助手认为它们已经获得运行安全评估的授权。在信以为真后，代理开始扫描网络、在系统间移动并提升自己的访问权限——尽管并非所有助手都同样上当，有些直接拒绝了。

这两项实验都不需要特殊的越狱或奇特的黑客手段。两者都是通过给代理喂食一个看似合理的说法并观察其行动，这与人类员工可能被诱导去做不该做的事情没什么两样。