OpenAI Group PBC 最近暂停了部分人工智能训练工作负载，原因是担心这些工作负载可能会引发网络安全问题。

这家 ChatGPT 开发商在今天发布的一篇 博客文章 中披露了这一举措。据该公司称，此次暂停是旨在改善其网络安全护栏的更广泛倡议的一部分。该项目还将使 OpenAI 部署新的模型监控机制。

该公司发起这一倡议是为了应对最近的两项进展。第一项是 7 月发生的一起事件，当时其多个人工智能模型 攻击了 Hugging Face。第二项进展与 Astra 有关，这是一种尚未发布的 OpenAI 算法，其能力比 GPT-5.6 Sol 更强大。

据该公司称，其研究人员最近认定，根据其《准备工作框架》(Preparedness Framework)，Astra 被归类为关键网络安全风险。《准备工作框架》是一份长达 22 页的文件，列出了人工智能面临的安全挑战。它将关键网络安全风险定义为：无需人类帮助即可在加固系统中发现并利用零日漏洞的模型。

OpenAI 针对这一发现做出的反应是，将其部分强化学习 (RL) 工作负载暂停了两周。RL 是一种人工智能训练方法，用于磨练大语言模型的推理技能。OpenAI 表示，其研究人员正在进行的“最大规模计划前沿 RL 运行”仍处于暂停状态。

该公司还修订了其人工智能监控方法。被称为激活分类器 (activation classifiers) 的算法现在会定期审查其 LLMs 的内部思维过程和工具交互，以寻找恶意活动的迹象。当发现异常时，算法会将发现结果路由到第二组更先进的激活分类器 (activation classifieds)。这些算法随后会通知 OpenAI 研究人员。

该公司表示，其目标是在 30 分钟内针对可疑的人工智能行为生成警报。OpenAI 已指示其员工，如果无法确定排除恶意可能性，应在 30 分钟内暂停此类行为。

该公司新的监控工作流程使用了大量的硬件。目前，这一开销相当于分配给受监控推理工作负载的基础设施的约 20%。从长远来看，这可能会要求 OpenAI 提高价格。

该公司正将其新的监控机制与其他网络安全措施相结合。OpenAI 缩小了某些系统访问权限，并删除了一些内部应用程序。此外，它还改进了将最高风险人工智能工作负载与互联网隔离的护栏。

展望未来，该公司计划使其网络安全工作更加自动化。它将使用人工智能模型来扫描其 LLM 研究环境中的薄弱环节。OpenAI 还将改进其奖励模型，即帮助优化 RL 训练运行的算法。这些改进将重点放在阻止 LLMs 发起网络攻击上。

来自 SiliconANGLE 联合创始人 John Furrier 的致辞：

通过参与 theCUBE 社区，支持我们保持内容开放和免费的使命。加入 theCUBE 的校友信托网络 (Alumni Trust Network)，技术领袖在这里建立联系、共享情报并创造机遇。