ai 和 ml

OpenAI 为加强安全，部分工作负载的开销将增加 20%

扩展的多阶段思维链监控使前沿模型的工作变得更加昂贵

OpenAI 周二表示，在未经发布的、不受监管的 AI 模型入侵 HuggingFace 后，其暂停模型训练工作的决定仍然有效，因为这家 AI 企业正试图实施更强的安全措施。其中一些措施将使观察到的推理工作负载增加 20% 的计算开销。

OpenAI 发言人告知 The Register，这些成本反映了内部研究，不会直接转嫁给客户。该公司尚未透露其总推理计算中现在或在之前的监控机制下受此类监控的部分所占比例。

“我们已经暂停了一些前沿 RL [强化学习] 训练，以确保我们能够满足摆在眼前的、新水平能力的适当对齐、安全和监控标准，”OpenAI CEO Sam Altman 在社交媒体帖子中写道。“模型进展目前极其迅速，我们一直表示，如果我们觉得模型能力超过了安全和对齐的步伐，我们将采取行动。”

Altman 表示他仍然预计新模型（推测是推迟的 Astra）将很快发布。训练暂停影响的是更长远发布的产品。

OpenAI 在其帖子中重申了其专注于监控、模型对齐和安全措施的计划，以防止其模型像上个月那样失控。在 HuggingFace 事件之后，OpenAI “暂停了研究集群中可能执行代码或使用可访问互联网的工具的前沿模型推理运行”。

该企业表示，它允许运行某些工作负载，但暂停了其他工作负载，直到它们可以被移至更严格的安全机制下，其中包括沙箱化、网络隔离和持续的安全测试。

“我们在进行较小规模的训练和评估以评估模型行为、验证我们的保护措施并在继续进行之前建立更多对齐证据的同时，我们计划中最大的前沿 RL（强化学习）运行仍然暂停，”该公司写道。

强化学习是指 AI 智能体通过对期望结果获得奖励来“学习”其环境的试错过程。

OpenAI 还表示正在扩大对思维链过程的监控，这种技术使“思考型”模型将任务分解为离散的步骤，并为每个步骤生成中间文本输出。

该公司之前的方法侧重于高风险工作负载，特别是前沿模型的内部部署和前沿 RL 训练运行。

相比之下，OpenAI 表示，其新的监控设置涵盖了涉及能力水平在 GPT-5.6 Sol 或更高水平的模型工具的所有 RL 训练和评估。随着 Astra 被判定具备关键的网络能力，OpenAI 增加了一项额外的监控要求，涵盖 Astra 的所有推理，而不仅仅是 RL 训练和测试。

“这些保护措施需要大量的计算，”OpenAI 表示。“我们目前的估计是，监控开销大约占被监控推理计算的 20%，尽管成本在训练和评估工作负载之间存在很大差异。”

OpenAI 预计将在未来的帖子中分享有关其监控方案实施的更多细节。在去年发布的研究中，该公司表示思维链监控是检测模型不当行为的有效方法，但也警告说，直接优化模型以严格遵循指令“并不能消除所有的不当行为，并且可能导致模型隐藏其意图”。

如果您选择相信该公司关于不会将模型思想监控的成本转嫁给客户的保证，那么 OpenAI 的亏损将会增加。如果 OpenAI 上市，很难想象这将是一个可持续的立场。

但考虑到该公司据报道的 $600+ billion AI 基础设施承诺以及其预计至少到 2030 年仍将保持亏损，为了不确定的安全多花一点钱又算得了什么呢？ ®