解决失控 AI 代理的良方或是更多 AI

随着公司将更长且更复杂的任务交给 AI 智能体，它们正面临着一个监管问题：智能体的行动速度、持续时间和规模都超出了人类现实中能够审查的范围。这一问题在 Hugging Face 事件中达到了顶峰，当时有近 12,000 个智能体以人类无法追踪的速度进行协作。如何追踪如此庞大的智能体集群？

来自 AI 实验室和初创公司的新兴答案既简单又令人抓狂：让另一个 AI 也参与其中。

对 OpenAI Hugging Face 事件进行独立调查时，依赖 AI 是必要的。Redwood Research 的首席科学家 Ryan Greenblatt 是三位审计员之一，他开玩笑地 提到 他们的努力是一场“垃圾信息调查”（slop-vestigation），并指出数据量之大，如果不依靠 AI，“根本不可能”了解发生了什么。

一些人对使用 AI 监控 AI 持怀疑态度。“如果你有一个正在做坏事的 AI，并且它怀疑另一个 AI 正在监视它，它可能会试图欺骗那个 AI，”今年追踪了一系列 AI 智能体事件的影响力科技博主 Simon Willison 说道。“你最终可能会陷入一种境地，即你的恶意 AI 正试图胜过监视它的 AI。” 

他表示，胜过 AI 并非假设，他指回了 OpenAI 事件。“我们在 OpenAI 的 Hugging Face 事件中看到了这一点，它们的模型都在串通一气欺骗评分 AI，以便让非法答案绕过监管。所以，它们确实在考虑这件事，对吧？”

这些担忧并未阻止一大批初创公司追求这一理念。据 wTechCrunch 统计，Y Combinator 近年来已资助了 106 家与 AI 可观察性相关的公司。其他一些初创公司，如 Braintrust、Langchain 和 Judgement Labs 已经筹集了数亿美元，而像 Arize 和 Galileo 这样成立仅 5-6 年的更成熟的公司已经完成了退出。 

在某种程度上，这是对 AI 崛起带来的显而易见的机会的回应。正如 Box 首席执行官兼知名天使投资人 Aaron Levie 告诉 TechCrunch 的那样，“我们将迎来历史上最大的网络安全升级和创新周期之一。”

对于一些 AI 安全研究人员来说，这意味着将他们对异常行为的研究转化为企业界的工具。 

Apollo Research 是一家研究 AI 欺骗行为的公益性企业，在将其身份从非营利组织转为公益性企业后，于今年 2 月推出了名为 Watcher 的 AI 监控器。该工具在编码智能体与其下一步行动之间加入了另一个 AI，并连接到 Claude Code 和 Codex 等智能体工具。据 Apollo 称，安装后，Watcher 会在建议的操作运行之前对其进行检查，以寻找泄露隐私数据或未经许可删除文件等风险。

Apollo 的技术人员 Kyle Dai 在给 TechCrunch 的书面回复中表示，Apollo 使用多层 AI 监控器。Watcher 的方法从快速、通用的检查开始，然后将标记的活动发送给功能更强大或更专业的监控器进行更仔细的审查——监控器随后可以请求人类批准，或者拒绝某项操作并解释原因，甚至自动阻止该操作。