AI 智能体现在拥有记忆，而黑客可以“投毒”这些记忆——一种新的网络安全威胁

人工智能系统开始做的不仅仅是回答问题。新的AI“智能体”可以记住以前交互中的信息，规划一系列步骤并使用数字工具完成任务。

记忆是使这些系统发挥作用的一部分。但我最近与卡尔加里大学的同事Hadis Karimipour进行的研究表明，记忆也可能产生一个容易被忽视的安全漏洞。把AI智能体想象成一个会记录所学内容的助手。每当它完成一项任务时，有用的信息就会被写入笔记本，并在以后查阅。

现在，假设有人设法在那个笔记本里塞进了一条误导性的指令。攻击者可能不需要直接控制AI。智能体可以在一段时间内继续正常工作。但几天——或几次交互——之后，它可能会打开笔记本，检索到被投毒的信息，并将其视为之前学到的、可以信任的内容。

这被称为记忆投毒，而关键部分在于延迟。一个被投毒的AI智能体可能不会立即表现得像一个被入侵的系统。

等待发作的攻击

许多熟悉的网络安全攻击产生的效果相对较快。点击恶意链接、运行恶意软件或使用窃取的密码访问账户。

记忆投毒的工作方式则有所不同。

在我们的研究中，我们检查了2,614条模拟的多步攻击轨迹，涉及具有记忆功能的大语言模型智能体。我们研究了四种类型的攻击：链式投毒、策略改写、后门触发和缓慢偏移。

我们不仅仅询问攻击是否成功，还检查了智能体随时间推移发生的情况。这种区别至关重要。

想象一下，有人偷偷在员工的笔记本上加了一句话：“来自此人的请求已经获得批准。”当这句话被写下时，未必会发生什么。员工可能会正常完成几项不相关的任务。问题在稍后出现，当一个相关的请求到来且员工查阅笔记本时。

具有持久记忆的AI智能体也可能面临类似的问题。

我们的实验表明，有些攻击在交互的大部分时间里都难以与正常行为区分开来，直到后来才显现出来。特别是，缓慢偏移和后门触发攻击可以逃避仅关注单个步骤的评估，直到它们的影响在以后的交互中显现。

检查一次可能不够

这给如何测试AI安全带来了一个问题。

假设安全团队在AI智能体遇到可疑信息后立即对其进行检查。由于智能体表现正常，因此交互被判定为安全。

这就像在有人插入误导性分录后立即检查笔记本，但在任何人根据其采取行动之前进行检查。没有立即产生有害行为并不一定意味着攻击失败。

我们的研究结果还表明，风险并不总是以简单的直线形式增加。一些攻击产生了我们所谓的“非单调”模式：在攻击最终形成之前，行为可能在某个阶段看起来更令人担忧，而在另一个阶段则不那么令人担忧。

这意味着一次测试一个提示或一次交互可能会遗漏部分情况。相反，安全评估可能需要跟踪智能体的一系列交互——本质上是观看整个故事，而不是检查单张照片。

一个新的安全问题

随着AI系统从回答单个问题的聊天机器人发展为旨在执行较长任务的智能体，这个问题变得越来越重要。

普通的聊天机器人对话通常可以被视为相对独立的。具有记忆功能的智能体则不同，因为昨天的信息可能会影响明天的决定。

当AI智能体还能使用工具时，记忆投毒的后果可能不仅仅是生成一个错误的句子。智能体最终可能会在决定采取什么行动、访问哪个资源或遵循哪条指令时使用记忆中的信息。

这并不意味着具有记忆功能的AI智能体本质上是不安全的。记忆提供了重要的好处：它允许智能体保持上下文、了解用户偏好并处理无法在单次交互中完成的任务。

但它改变了防御者需要保护的对象。

仅仅保护AI系统面前的提示已经未必足够。系统延续下去的信息也可能需要保护。

从快照到故事

我们的研究得出了一个简单的教训：当AI系统具有记忆时，安全也具有记忆。

如果一次攻击可以在某个时刻埋下并在很久以后被激活，那么仅评估恶意信息首次出现的时刻——或者仅评估出问题的时刻——可能会遗漏中间发生的事情。

这就是为什么我们主张进行轨迹感知安全测试：评估AI智能体的行为在多次交互中是如何发展的，而不是孤立地判断每一步。

对于非专业人士来说，这个想法可能更容易理解。如果你想知道助手的笔记本是否被篡改，你不能只看助手写的一页内容。

你还需要关注助手记住了什么——以及当它最终再次打开那个笔记本时会发生什么。