如何为尚不存在的 AI 智能体构建安全防护？

AI 智能体正在向更强的自主性、更多的上下文、更广的覆盖范围以及更大的行动权限快速演进。我们现在必须为未来构建安全性。

我们现在正在对两年后如何确保软件安全进行巨大的押注，而此时软件的变化速度之快，以至于没人知道它将来会是什么样子。

每隔几个月就会出现新的智能体架构、框架或标准。到 2028 年，我们今天设计的许多技术都将发生剧变或彻底消失。

但我们不能等到那时才看什么能生存下来。我们现在必须为一个我们还无法预见的软件格局做出安全决策。

这就是快速演进时期的常态。新物种迅速出现，大多数会消失，随着时间的推移，赋予其中一些物种优势的特征开始定义下一代。

水母、青蛙和大脑

如今企业中运行的大多数软件都属于旧物种。从进化论的角度来看，它是一只水母：传感器与反射神经相连，中间没有大脑做决策。开发人员决定应该发生什么，并将该决策写入代码。随后，请求进来，预先连好的路径触发，响应发出。

水母并不是一种失败的生物。它已经存活了 5 亿多年，而且可能比人类更长寿。确定性软件也不会消失。对于许多工作来说，可预测的反射正是我们想要的。

我们现在构建的东西则不同。我们开始给软件一个大脑，尽管在大多数情况下，大脑还没有完全掌控大局。我们将 LLM 置于工作流中，将智能体连接到一组定义的工具，或者为基本架构围绕预定路径设计的应用程序添加智能。软件可以对问题的某些部分进行推理，但旧的反射仍然决定了发生的大部分事情。

我把这看作是智能体进化中的青蛙：一部分属于旧世界，一部分属于新世界。

青蛙很重要，因为它告诉我们转型正在进行中。我们不知道下一个物种会是什么样子，但我们已经可以看到它生存所需的最重要特征之一：大脑将在决定系统实际操作方面发挥越来越核心的作用。

这就是我认为业界许多人犯错的地方。我们正在围绕目前碰巧存在的智能体、框架和架构设计安全性，而不是围绕那些可能存续下来的能力。今天的智能体架构是过渡物种。有些会进化；有些会在很长一段时间内占据有用的生态位；有些则会消失。

如果我们现在为必须在数年后依然保持相关性的系统构建安全性，那么青蛙就不能成为我们的设计目标。青蛙带给我们的启示才是。

赌特征，不赌物种

在这个“智能体达尔文主义”时期，我们已经可以看到决策中心正在向大脑转移。

随着软件获得记忆、自主性、工具和数据访问权以及行动权限，智能不再是预定流程中的一个功能，而是开始决定流程本身。上下文和记忆为决策提供信息。工具赋予系统行动方式。身份赋予其权限。路径是从决策中产生的，而不是完全预先铺设好的。

因此，更多的应用程序行为是在运行时确定的。开发人员越来越多地定义系统的能力和边界，而不必知道系统在这些边界内会采取的每一条路径。

我们不知道哪个智能体框架会在 2028 年占据主导地位，也不知道 MCP 是否还会像今天这样，甚至不知道我们会如何称呼这一时期出现的系统。但我们不需要知道最终物种，就能看出哪些特征正在被选中。我们可能不知道幸存的物种会被称为什么，但我们已经可以对它需要具备的能力勾勒出一幅非常清晰的蓝图。