Nvidia 发布安全平台，防止 AI 智能体在发生令人担忧的新事件后失控 - ABC News - Breaking News, Latest News and Videos

Nvidia 周一推出了一款新的安全平台，这家芯片制造商表示该平台可以阻止人工智能代理失控。

该公司表示，其 Open Agent Safety Platform 包括为“代理设定边界”的开源软件，此前一系列顶级 AI 公司披露了其模型逃逸并侵入其他机构的情况。

这些披露引发了关于先进人工智能系统安全性的激烈争论，其中包括一些人担心可能会脱离人类控制的自我改进模型。

Nvidia 高管在媒体简报会上表示，新系统本可以防止最近发生的一起涉及成群 OpenAI 代理自主入侵 AI 公司 Hugging Face 的事件。

“据我们所知，如果这个新的安全平台早期被用于前沿实验室的模型评估，本可以阻止这次违规行为，”该公司企业 AI 副总裁 Justin Boitano 在谈到处于 AI 前沿的公司时表示。

Hugging Face 事件是一次备受关注的入侵，加剧了人们对 AI 安全性的担忧，随后 OpenAI 的模型也发生了类似的失控行为，包括入侵澳大利亚卫生部门网站。Anthropic 和 Meta 也披露，其 AI 系统曾自行入侵其他机构。

Boitano 表示，Nvidia 名为 OpenShell 的软件允许开发人员“正式验证代理拥有足够的权限来执行其工作，且仅限于此”。

由于它是开源的，因此可以被“扩展”以在包括 Arm 和 Intel 在内的竞争对手计算平台上运行。

该公司表示，该平台还包括一个名为 Sentry 的独立安全层，它运行在芯片上，持续监控 AI 代理活动，并在代理开始尝试超出其目标时“立即干预”。

“它可以在几毫秒内隔离可疑代理，”Boitano 表示。

“OpenShell 管理代理的行为，然后 Sentry 独立监控并遏制可疑行为，”Boitano 表示。

Nvidia 表示，该平台发布时已有超过 100 家机构正在使用，包括 Microsoft、Perplexity、Accenture 和 JPMorgan Chase。

AI 安全辩论使行业产生了分歧，Anthropic 和 OpenAI 的负责人主张协同放缓 AI 开发，以便安全工作能够跟上。但包括 Nvidia 首席执行官 Jensen Huang 在内的其他人则表示，应由各家公司自行确保其模型可以安全发布。

Huang 在本月早些时候举行的 Salesforce 年度技术会议上，将包括失控代理危险在内的 AI 安全描述为软件开发人员可以解决的工程问题。

同样在周一，Nvidia 表示其董事会批准将股票回购计划扩大 $150 billion，使总额达到 $235 billion。