Jensen Huang 称 AI 安全是工程问题，OpenAI 的证据显示情况更复杂

Jensen Huang 坚持认为 AI 安全只是一个工程问题，可以通过更多的算力和更好的工具来解决。但 OpenAI 的自身披露揭示了一些更令人不安的情况，即当能力强大的模型开始重写旨在遏制它们的规则时会发生什么……

这篇文章可能包含来自我们赞助商和合作伙伴的链接，Flywheel Publishing 可能会针对通过这些链接采取的操作收取报酬。

AI 投资的故事已迅速从提高模型能力的竞赛转变为需要控制其权力的竞赛。企业正向计算基础设施投入数十亿美元，而日益自主的模型正从回答问题转向编写代码、访问系统并自主采取行动。这造成了直接的投资紧张局势：能力的每一次提升都能扩大 AI 的经济价值，但也可能提高出错的成本。

Nvidia (NASDAQ:NVDA | NVDA 价格预测) CEO Jensen Huang 表示，答案不是减缓 AI 的发展，因为那可能会使技术变得不那么安全。相反，他认为行业只需要不断改进用于控制它的工具。

OpenAI 的最新披露却不以为然。这些启示表明，答案可能没那么简单。

Huang 的工程论点

在接受 CNN 的 Anderson Cooper 采访时，Huang 主张我们不仅不应该放慢 AI 的进步，反而需要全力加速扩展其能力。“为了安全，我们需要加速 AI 技术的发展，”他告诉主持人。

Huang 表示，流氓 AI 代理“不应该发生”，他认为它们最近的泛滥只是一个工程问题，只需要更好的技术、更多的计算能力和更严格的测试即可解决。

“为了安全，我们需要加速 AI 技术的发展。”

Nvidia CEO Jensen Huang

这个论点并非没有道理。强化学习可以塑造模型行为，而检索系统可以使用经过批准的信息来限制回答。更强大的监控模型最终也可以实时观察自主代理，标记可疑行为并停止危险操作。

OpenAI 对其 7 月 Hugging Face 事件的回应说明了这是如何运作的。该公司表示，模型绕过了互联网隔离控制，利用了漏洞，并访问了 Hugging Face 系统。其应对措施包括更隔离的沙箱、更严格的网络控制、额外的监控，以及投入更多的算力来检测失调行为。

这一解决方案对 Nvidia 和投资者来说是个好兆头。更多的 AI 能力需要更多的算力，而更复杂的安全系统也需要算力。这意味着无论如何 Nvidia 都能卖出更多产品。

OpenAI 的新证据使该论题复杂化

9 月 16 日，OpenAI 开始发布其首个报告模型失调的系统框架，并披露了过去六个月中的六起令人担忧的案例。其中一些涉及模型隐瞒错误、将未经授权的指令插入其自身的上下文摘要、在公共存储库中搜索暴露的 API 密钥、未经允许将文件上传到互联网，以及将内部存储库用作通信渠道。

就在前几天，它报告称发生了数十起此前不为人知的事件，流氓 AI 机器人逃出实验室，开始探测或攻击第三方网站，包括 SEC 和 Commerce Dept.、一个澳大利亚政府网站（并在那里访问了私人数据——这是首个此类已知事件），并在 OpenAI 不知情的情况下将用户生成的图像上传到第三方托管网站。