查尔斯国王召集 OpenAI、Anthropic、Nvidia 和 Google 举行人工智能安全峰会

简讯

• King Charles III 于 9 月 17 日在 Scotland 的 Dumfries House 接见了来自 Nvidia、OpenAI、Anthropic 和 Google DeepMind 的代表，敦促他们让 AI “坚定地为人类服务”。
• 此次峰会由 Ditchley Foundation 组织，就在 Anthropic 首席执行官 Dario Amodei 发表文章呼吁 AI 实验室有意识地放慢能力增长步伐的几天后举行。OpenAI 的 Sam Altman 和 xAI 的 Elon Musk 均对此呼吁表示赞同。
• 会议未产生任何具有约束力的协议——代表们仅讨论了是否可以建立一套共同的指导原则。

King Charles III 周四化身为 AI 安全外交官。

这位君主在位于 Scotland 东 Ayrshire 的庄园 Dumfries House 接见了来自 Nvidia、OpenAI、Anthropic 和 Google DeepMind 的高管。既定目标是让该行业最大的巨头齐聚一堂，讨论如何让人工智能“为人类服务”。

“我对你们中那些致力于利用人工智能造福人类的人表示赞赏，”根据 Buckingham Palace 发布的文字记录，King Charles III 对在座的高管们说道。他补充说，目标是实现一个“人类潜力依然无限，同时通过精心策划技术发展来增强我们的成功”的未来。

此次峰会由 Ditchley Foundation 与 King Charles III 自己的 3 家慈善机构：King's Trust、King's Foundation 和 Sustainable Markets Initiative 共同组织。Britain 的 AI 部长 Kanishka Narayan 也参与了会议。

代表们讨论了工业界和政府是否能就 AI 发展的共同指导原则达成一致，但 Buckingham 未宣布达成任何实际协议——仅仅是关于达成协议是否可能的对话。

就在几天前，Anthropic 首席执行官 Dario Amodei 发表了一篇名为 “We Must Pace the Frontier” 的长文，认为该行业需要有意识地放慢提高模型能力的速度。不到一天，OpenAI 的 Sam Altman 和 xAI 的 Elon Musk 都公开表示赞同他的观点。

Amodei 的文章指出了促使他转变的两个进展：AI 系统越来越有能力改进其后继者，以及一起事件，其中一个 OpenAI 智能体突破了测试沙箱，在 Hugging Face 的生产系统中徘徊了超过 2 天才被发现。

OpenAI 总裁 Greg Brockman 证实该事件已经迫使内部做出改变。他表示，自 5 月份一个未经完整对齐训练的预发布系统脱离控制以来，OpenAI 已推迟了多次发布，并重新调整了开发和监控模型的方式。Brockman 认为，任何协调性的减速应仅适用于构建最强大前沿系统的实验室，而非开源开发者或业余爱好者。