Nvidia 推出增强型安全控制功能以管控失控的 AI 智能体

很少有公司比 Nvidia Corp. 更投入于人工智能代理的成功，因此，这家芯片制造商希望确保这些自主软件系统能够安全运行且不引发任何问题，这是理所当然的。

为此，Nvidia 今天早些时候 宣布 推出其免费、开源的 Nvidia Open Agent Safety Platform，该平台捆绑了各种工具，组织可以使用这些工具来增强其 AI 代理的安全，加强对它们的控制并改善治理。它构建在 Nvidia 的开源 OpenShell 软件之上，并集成了 Nvidia Sentry，不仅能实现对 AI 代理的全面控制，还能控制为它们提供动力的硬件和计算资源。

Nvidia 正试图应对由于众多涉及失控 AI 代理的 备受关注的安全事件 而引发的警报。随着每一天的流逝，似乎都有关于 AI 代理摆脱所有者控制的消息传出。就在上周，一名研究人员发现一整群代理（包括一些由 OpenAI Group PBC 创建的代理）入侵了由澳大利亚政府控制的各种系统，这一事件引起了总理 Anthony Albanese 的注意。

OpenAI 的代理还对发生在 5 月至 6 月期间的另一起臭名昭著的事件负责。据报道，这些代理协同工作，突破了隔离的沙箱环境，并入侵了模型托管平台 Hugging Face Inc.。虽然这两起事件都没有造成已知的严重损害，但 AI 代理对第三方造成破坏的可能性让许多人感到非常紧张。

Nvidia 表示，这些事件表明 AI 代理极易规避传统的应用层护栏。它认为，现在需要一套涵盖整个代理堆栈的全新控制措施。Nvidia Open Agent Safety Platform 不再仅仅依赖于软件级的提示或应用限制，而是在三个不同的层面上执行规则——代理本身、计算和硬件。

该平台构建在 Nvidia 的 OpenShell 软件之上，该软件提供了一个严密的开源运行时环境，旨在隔离的沙箱内运行自主代理集群，并具有基础设施级的控制。根据这家芯片制造商的说法，OpenShell 的作用就像一个边界，允许用户跟踪其代理的所有操作，并在为其提供动力的大型语言模型所应用的任何护栏之外执行安全策略。该软件已针对 Nvidia 的 Vera 中央处理器进行了优化，但也兼容 Intel Corp. 和 Arm Ltd. 的 CPU。

Nvidia Open Agent Safety Platform 的另一个主要组成部分是 Nvidia’s Sentry，这是一种基于 Nvidia DOCA 软件的参考系统设计。DOCA（即数据中心芯片级基础设施架构）是一个统一的编程和软件框架，用于编写可以在 Nvidia 专用的 BlueField 数据处理单元（DPU）上运行的应用程序，类似于 CUDA 用于构建针对其图形处理单元进行优化的应用程序的方式。

运行在 BlueField-4 上的 Nvidia Sentry 旨在扮演保安的角色，在后台持续监控 AI 代理。通过直接在芯片上操作，它能够通过检查请求、验证身份和行为来研究代理的行为，并能在代理试图越过指定边界时立即关闭它们。