NewsLayer

Install NewsLayer

Get the app experience — one tap from your home screen, instant loads and breaking-news alerts.

NewsLayer.com

OpenAI 提议制定全球 AI 标准以指导对齐和 RSI

OpenAI 提议制定全球 AI 标准以指导对齐和 RSI CNBC

CNBC

Publisher

Sep 21, 2026 at 8:21 PM UTC · 2 分钟阅读

OpenAI 提议制定全球 AI 标准以指导对齐和 RSI
Image via CNBC

OpenAi 创始人 Sam Altman 于 2026 年 9 月 2 日在北卡罗来纳州 Chapel Hill 举行的 G20 创新部长级会议上发言。

Sean Rayford | Getty Images News | Getty Images

OpenAI 周一发布了一套关于前沿人工智能开发安全保障的建议,重点关注对齐研究和一种被称为递归自我改进(RSI)的计算技术。

“安全地度过这一过渡期需要对齐研究与这些能力保持同步,以便我们和其他人构建的系统始终符合人类价值观并在人类控制之下,”该公司在博文中表示。

OpenAI 呼吁开展国际合作以制定前沿标准,并建议在世界各地现有 AI 安全机构的工作基础上进行构建。

这家 ChatGPT 制造商表示,这些技术标准应关注前沿 AI 模型和开发者,以及针对自动化 AI 研究人员(包括 RSI)的效益风险管理。

RSI 因其创建无需人类干预即可自行升级的基础模型的潜力而令 AI 开发者感到兴奋。

RSI 的进展已导致一些技术专家担心,随着 AI 系统变得更加复杂且在互联网上无处不在,基础模型制造商可能会失去对底层技术的控制,或者无法考虑到潜在的意外后果。

“全自动 RSI 目前尚未实现,除非且直到它能够被安全地实现,否则我们不应追求它,”OpenAI 的博文称。“如果在没有适当照看和谨慎的情况下进行,RSI 可能会导致人类失去对 AI 开发的实际控制,无法对他们不再理解的研究过程提供监管。”

OpenAI 的博文提到了 Hugging Face 的安全事故(该事故不涉及 RSI 技术),将其视为“如果没有强大的安全保障和对齐,此类风险可能会变得更加严重的一种预演”。

上周,竞争对手 Anthropic 推出了自己关于安全开发前沿 AI 模型的想法,这是对近期行业研究人员齐声警告 AI 对人类的威胁的回应。Jacob Coxon 曾在 Anthropic 和 OpenAI 工作过,他在近两周前宣布辞职时引发了全球辩论,并表示这些公司在“拿我们的生命赌博”。

在近期发生 AI 相关安全事件以及 Coxon 的公开声明之后,Anthropic 首席执行官 Dario Amodei 发表了一篇文章,呼吁 AI 公司放慢基础模型开发的速度,并提出了其他建议。

Amodei 还提出了将第三方评估机构引入公司的设想,以此作为审计和减轻其技术可能对社会构成的任何潜在风险的一种方式,例如加剧网络安全相关的攻击或制造生物武器。OpenAI 首席执行官 Sam Altman 等竞争对手的领导人也公开支持 Amodei 的提议。

但由于 AI 评估领域尚处于起步阶段,对于允许独立第三方超出目前水平、更彻底地检查尖端技术的基本标准和原则,尚未达成统一共识。

这也是 为什么 AI 评估者联盟 敦促基础模型制造商考虑一套“最低条件”的部分原因,旨在让他们能够更深入地执行与技术相关的审计和检查,包括更深层次的访问权限,以及在发布不利报告时免受报复。

Sourced by

Originally reported by CNBC

NewsLayer coverage based on externally reported material.

The Daily Brief

The onchain economy, before your day starts.

Curated markets, onchain insights, and key headlines — delivered every weekday morning.

Weekdays · Free · ~5 minute read

0

Applause

Was this article helpful?

Article Intelligence

Sponsored

Ad
House — Advertise on NewsLayer
NewsLayerLearn more

NewsLayer Premium

Unlock deeper intelligence.

Ad-free reading, exclusive research, and real-time onchain insights.

Go Premium

Keep Reading

相关报道