Stanford 为自主 AI 智能体制定新安全规则 | ETIH EdTech News

Stanford University 为用于研究、教学、医疗保健和行政管理的 AI 系统开发了一个新的安全框架，特别关注机构面临的一个日益增长的挑战：能够执行任务而不仅仅是生成答案的 AI。

Stanford AI Security Framework (AISF) 根据数据敏感性、自主性、工具访问权限以及行动的潜在后果等因素评估系统。它将 AIUC-1 与成熟的方法相结合，包括 ISO 42001、NIST AI Risk Management Framework、EU AI Act 以及 OWASP’s AI Vulnerability Scoring System。

对于大学而言，随着 AI 功能出现在新工具和现有软件中，问题变得越来越复杂。一些系统可能只总结信息。其他系统则可以修改记录、发送通信或通过连接的系统采取行动。

Stanford University 的首席信息安全官 Amy Steagall 表示，目标是让人们能够使用 AI，而不会让安全流程本身成为障碍：

“精灵已经出笼，AI 在我们现在和未来的研究与教育中都发挥着关键作用。我的目标是让简单的路径成为最安全的路径，将我们最深入的审查集中在真正需要的系统上。”

从读取数据到采取行动

Stanford 将 AI 系统分为低、中、高风险层级。

低风险系统是信息类的，不处理敏感数据，不进行工具调用，且操作可以轻松撤销。中风险系统可能会分析内部数据，并在定义的内部工作流中使用工具。

高风险系统包括处理敏感或受监管信息的系统，同时还会采取影响记录系统（如财务、HR 或学生记录）的行动。在这些情况下，AI 错误可能会导致难以撤销的更改。

Stanford University 的信息安全官 Bhavya Gupta 解释了该模型背后的思考：“数据分类告诉我们代理能看到什么。AIUC-1 帮助我们询问它能做什么，而这正是代理系统真正风险所在。”

Stanford 还会评估 AI 代理的操作场所以及谁可能受其影响。例如，由一名员工使用的内部助手，与自动化更广泛的机构流程或与校外人员互动的代理的处理方式不同。

在 AI 代理与其他代理交互的情况下，组合系统将继承所涉及的最高部署类别相关的控制措施。

AIUC-1 如何融入 Stanford 的模型

Stanford 并没有取代现有的 AI 治理和安全标准，而是为每一个标准都赋予了明确的角色。

ISO 42001 为 AI 治理提供了管理结构，而 NIST AI Risk Management Framework 则有助于识别系统整个生命周期中的风险。EU AI Act 提供了监管和透明度要求，而 OWASP AIVSS 则为安全和漏洞评分提供指导。

AIUC-1 提供了用于连接这些方法的运营分类。其控制措施围绕能够使用工具并以不同程度的自主权采取行动的 AI 代理设计，包括提示词注入、未经授权的行动和不安全的工具调用等风险。