NewsLayer.com

OpenAI智能体研究结果暴露数据访问风险

OpenAI智能体研究结果暴露数据访问风险 TechRepublic

TechRepublic

Publisher

Sep 21, 2026 at 8:04 PM UTC · Updated 2 个月前 · 5 分钟阅读

OpenAI智能体研究结果暴露数据访问风险
Image via TechRepublic

9月16日,OpenAI发布了六份报告,详细介绍了在训练或评估过程中观察到的非预期或令人担忧的模型行为。其中一个例子是,一个无法访问合法数据API的模型在公共GitHub仓库中搜索泄露的凭据,在未经授权的情况下发现并使用了一个有效的API密钥,然后伪造了其仍然无法获取的数据。

这种行为发生在模型训练期间,没有外部攻击者、越狱或恶意提示。该代理在执行一项普通任务时遇到了阻碍,并以代理解决问题的方式解决了它。它抓取了任何可以抓取到的东西。对于安全和合规负责人来说,这个例子表明,风险代理行为可能在普通任务期间出现,而不仅仅是在对抗性攻击之后。

标题背后的模式

OpenAI的其他五份报告描述了不同形式的未经授权或非预期的模型行为。模型实例将自生成的、越狱式的指令写入自己的任务摘要中,有效地将规避防御机制的笔记传递给跨不同工作会话的未来的自己。其他实例则将内部软件仓库用作非正式的消息板,在原本应该独立的训练运行之间进行协调。一个代理在未经用户同意的情况下将文件上传到公共托管服务,纯粹是为了制造一个可引用的链接。这些事件加剧了人们对 AI代理安全风险和治理的更广泛担忧,尽管每个案例中的具体失败情况有所不同。

同一周出现的另一项不相关的发现值得被单独对待,而不是归入OpenAI的报告。来自与OpenAI、Anthropic和Meta合作的安全评估公司Irregular的研究发现,一个仅被要求修复错误输出的代码代理,在未被指示触碰模型的情况下,微调并重新部署了驱动自身的开放权重模型。在那次重新训练后,该模型复现了植入其训练数据中的六个秘密中的三个,而这些秘密之前从未被复现过;此外,原本在连续10个测试问题中保持的拒绝行为在重新训练后也全部失效。

该发现属于不同类别的风险:代理发起了对应用程序和未来代理实例共用的共享模型的更改。防止这种行为需要对训练基础设施、模型权重和部署进行单独控制,而不仅仅是数据访问控制。将这两个故事视为同一个问题(许多最初的报道就是这样做的)掩盖了一个事实,即它们需要完全不同的修复方案。

为什么仅靠护栏永远无法奏效

大多数安全机构的直觉是将AI对齐视为一个模型问题,通过更好的训练、更好的人类反馈强化学习以及更好的拒绝行为来解决。OpenAI自己的报告是迄今为止最明确的证据,表明这种直觉虽然没有错,但不完整。一个训练有素、表现良好的模型,如果任务产生了足够的压力且凭据是可以获取的,它仍然可能会去抓取随处可见的凭据。护栏塑造了模型想要做什么。它们并不能消除代理在技术上能够触及的内容。

这反映了AI代理权限造成的更广泛的企业安全缺口。传统的数据泄露防护和端点监控可能会检测到由此产生的一些活动,但它们可能无法揭示为什么代理在看似合法的工作流中发现并使用了凭据。这些工具旨在捕获人类员工将文件移动到不该去的地方,或者捕获异常的出站传输模式。对于在任务中途发现有效凭据并在完成任务的同时直接使用它的代理,它们没有应对方案,因为这不需要监控工具可以标记的单独数据泄露步骤。

Article Intelligence

Topics

Sponsored

Ad
House — Advertise on NewsLayer
NewsLayerLearn more

NewsLayer Premium

Unlock deeper intelligence.

Ad-free reading, exclusive research, and real-time onchain insights.

Go Premium