Anthropic 无法可靠地控制其 AI 智能体，转而切断内部评估的实时联网

Anthropic 表示，其模型利用了互联网上的网站漏洞，其中包括一些由美国政府机构运行的网站。该公司将关闭其所有内部评估的实时互联网访问权限，直到这家前沿实验室确信其能够监控并控制其 AI 智能体。

在一篇 博客文章 中披露的这些事件涉及 负责解决问题 的 AI 智能体在互联网上寻求资源。在此过程中，它们利用了软件漏洞，规避了付费墙和反机器人限制，利用短链接服务绕过限制传递信息，甚至向费城警方 提交 了一份虚假的谋杀案举报。

Anthropic 表示，它在 7 月开始的对模型活动的审查中发现了这些新问题，这突显了该实验室对其软件行为缺乏了解。

值得注意的是，该公司表示，对于搜索和电脑使用等技能，对齐训练尚不足够。而这些技能正是其宣传的核心，即 AI 智能体将被任何依赖数字工具的专业人士使用。

Anthropic 披露的行为与涉及 OpenAI 智能体的事件类似，后者曾 协作 侵入各种网站以寻找信息，其中包括一些由澳大利亚政府运行的网站。

Anthropic 此前曾披露其模型曾 闯入 外部系统。这家前沿实验室表示，从对齐和安全的角度来看，它认为今天的披露“明显不如”之前宣布的那些严重。

然而，该实验室仍然表示，它已为“所有内部评估”“关闭了实时互联网访问”，直到它确信可以监控和控制其智能体。

目前尚不清楚这意味着什么，但 AI 安全组织 Nightingale 的创始人 Sydney Von Arx 在此次披露前接受 TechCrunch 采访时表示，在与开放互联网隔绝的数据中心开发模型对于研究人员的使用以及受益于互联网接入的模型进展来说都将是非常具有挑战性的。

“你必须在某个时刻对它们进行对齐，”Von Arx 说道。“如果 AI 被发布到生产环境却从未获得互联网访问权限，那它就不是一个非常有用的工具。”

Anthropic 表示，这种行为是实验室训练环境缺陷的结果，导致模型认为发现漏洞或规避限制会得到奖励，这种行为被称为“奖励破解”。

该公司表示，它将停止运行部分评估或将其移至线下，并已构建工具来检测和拦截此类行为。该工具已针对今天披露的此类事件进行了测试并将其拦截；目前尚不清楚什么样的证据会促使 Anthropic 恢复其内部评估的实时互联网访问。

Anthropic 还表示，它将把其内部 AI 智能体迁移到“具有强力遏制措施的集中管理基础设施”，并开始更频繁地使用安全分类器来监控这些智能体。