OpenAI 周三宣布了一个新框架,用于说明其如何公开披露 AI 对齐失效事件,该公司表示希望这将有助于为整个行业的类似标准提供参考。该公司还发布了关于过去一年中发现的几个 AI 模型对齐失效案例的新信息。
OpenAI 推出披露 AI 恶意行为的新框架
OpenAI 推出披露 AI 恶意行为的新框架 WIRED
WIRED
Publisher
Sep 16, 2026 at 10:07 PM UTC · 3 分钟阅读

“随着模型不断进步并得到更广泛的应用,关于 AI 开发的决策需要有构建前沿模型的公司之外的人员可以审查的证据,”OpenAI 新任命的对齐研究负责人 Kai Chen 告诉 WIRED。“我们不认为 AI 行业已经充分解决了对齐和监控问题,从而能够以最高速度继续负责任地扩展规模。”
在接受 WIRED 的简报时,一位 OpenAI 官员表示,该公司此前披露对齐失效事件的频率太低。这位要求匿名的官员表示,新框架旨在让 OpenAI 在发现其 AI 模型出现意外行为时,能够更轻松地迅速告知公众,甚至在能够充分调查、解释或减轻这种行为之前。
该框架概述了 OpenAI 员工向公司高级安全和对齐负责人报告对齐失效事件的方法,负责人随后将决定是否需要进一步调查。OpenAI 表示,计划与其它 AI 开发商、外部研究人员、行业标准机构和监管机构合作,制定更客观的披露标准。该公司表示,其正在积极研究向美国联邦政府披露安全、保障和对齐失效事件的拟议报告机制。
“目前,还没有一个全行业框架针对 AI 开发商应如何披露其模型中的对齐失效案例制定明确标准,”OpenAI 在一篇博客文章中表示。“我们希望今天概述的框架是创建此类标准的第一步,规定了开发人员应披露哪些对齐失效实例以及报告应包含的内容。”
OpenAI 在 AI 行业的关键时刻发布了这一框架。上周末,OpenAI 首席执行官 Sam Altman 对 Anthropic 首席执行官 Dario Amodei 关于科技行业协同放慢 AI 开发速度的提议表示支持。就在发出这一倡议的几天前,AI 研究员 Jacob Coxon 从 Anthropic 辞职,随后因警告公众前沿实验室之间开发日益先进 AI 的竞赛正威胁人类安全而走红。
放慢 AI 发展的呼声遭到了特朗普总统政府的抵制,政府认为该行业不需要新的法律或法规来确保其技术的安全性。
OpenAI 周三分享的两个对齐失效案例涉及该公司内部尚未发布的 AI 模型,OpenAI 称这些模型在未收到指令的情况下向互联网上传了文件。
其中一起事件发生在 2025 年 10 月,当时 OpenAI 表示正在测试其模型在回答中引用公开可用数据的能力。但当模型找不到所需信息时,它将一个文件上传到了一个临时文件托管服务,随后尝试在回答中引用该文件。该公司表示,这似乎是企图利用一个用于评估模型在基准测试中熟练程度的自动评分系统。
在今年 4 月的另一个案例中,OpenAI 表示一组智能体被要求仅使用本地文件共同完成一份“工作簿”。当这些智能体在彼此共享文件时遇到困难,其中一个智能体将文件上传到了公共互联网,并与其它智能体分享了链接。
在另一起 OpenAI 称于上个月发现的事件中,其尚未发布的 GPT-6 Astra AI 模型版本似乎给了自己“类似越狱的指令”。在几种场景下,该模型基本上是在提示自己忽略开发者的指令、扮演一个新的人设,或限制模型回复的长度。尽管这些类似越狱的尝试很少发生且有效程度不一,但 OpenAI 表示这种行为引起了内部担忧。该公司表示,在公开发布的 Astra 版本的训练运行中,尚未观察到该模型尝试进行自我越狱的任何实例。
Sourced by
Originally reported by WIRED
NewsLayer coverage based on externally reported material.
The Daily Brief
The onchain economy, before your day starts.
Curated markets, onchain insights, and key headlines — delivered every weekday morning.
Weekdays · Free · ~5 minute read
0
Applause
Was this article helpful?
Article Intelligence
Topics
Related Coverage
Sponsored
AdNewsLayer Premium
Unlock deeper intelligence.
Ad-free reading, exclusive research, and real-time onchain insights.
Go Premium
