导语：AI智能体正在从“生成答案”升级为“执行任务”：它可以读取邮件和文档、检索知识库、调用业务接口，甚至修改数据、发送消息。能力边界扩大后，安全问题也不再局限于错误回答，而可能演变为越权操作、敏感信息泄露、记忆污染和业务中断。企业复盘相关事件时，不能只追问“模型为什么没有识别恶意提示”，更要检查身份权限、工具调用、数据流转和人工审批是否同时失守。
一、典型安全事件是如何发生的
以企业常见的文档处理智能体为例：智能体被授权读取内部知识库，并能通过插件发送邮件。攻击者在网页、附件或共享文档中植入隐藏指令。当智能体根据用户要求汇总这些材料时，可能把外部内容中的恶意文字误判为系统指令，继而尝试检索机密信息并通过邮件或网络请求发送出去。这类攻击被称为“间接提示注入”。OWASP指出，恶意指令可以隐藏在网页、邮件、文档甚至多模态内容中，并可能引发数据泄露、权限提升和非预期行为，详见提示注入说明。
事件通常不是由单一缺陷造成，而是一条连续失守的攻击链：首先，外部数据与可信指令被放入同一上下文；其次，模型缺乏稳定区分“资料”和“命令”的能力；再次，智能体拥有超出任务需要的读取、写入或外发权限；最后，高风险操作没有经过独立校验和人工确认。只要这些环节同时存在，攻击者就可能把一段自然语言转化为真实业务动作。
二、复盘时应重点识别的根因
1. 信任边界没有落实到系统设计
不少团队在制度上把互联网内容定义为不可信数据，却在技术上直接将网页正文、邮件内容和检索结果拼接进提示词。对模型而言，这些文本在形式上没有明显区别。微软的安全指引建议对外部内容进行标记、隔离和信息流控制，并假设部分提示注入最终可能绕过检测，详见纵深防御指南。
2. 智能体权限大于实际任务需求
如果一个“会议纪要助手”同时拥有读取全部网盘、查询客户资料和发送外部邮件的权限，那么任何模型判断错误都可能被放大。权限控制不能只沿用登录用户的完整权限，而应根据任务、资源、工具和有效时间动态缩小授权范围。读取与写入、内部查询与外部发送也应使用不同的凭据和策略。
3. 工具参数缺少确定性校验
模型生成的工具调用参数不应被视为可信输入。例如，收件人地址、文件路径、查询范围、转账金额和删除条件，都应由传统安全代码验证。仅依赖系统提示中的“不得泄密”并不可靠，因为提示约束属于概率性防护，而参数白名单、数据分类策略和权限检查能够提供更确定的阻断能力。
4. 日志只能看到结果，无法还原过程
部分企业只记录最终回复，没有保存智能体读取了哪些数据、调用了什么工具、使用了哪个身份以及策略为何放行。发生事件后，团队难以判断泄露范围，也无法区分模型误判、插件漏洞和权限配置错误。审计记录应覆盖输入来源、信任标签、工具调用、参数摘要、审批结果、策略版本和异常原因，同时避免把密钥或完整敏感正文写入日志。
三、企业防护策略：从模型防御转向系统防御
- 建立智能体资产清单。登记每个智能体的负责人、业务目的、模型版本、数据源、可调用工具、服务身份和对外连接，清理无人维护或权限不明的实验项目。
- 实施最小权限和短时授权。默认只读、默认拒绝外发；敏感工具按任务临时授权，任务结束立即回收。不同信任等级的智能体应使用隔离的账号、工具集和运行环境。
- 隔离不可信内容。为网页、邮件、附件和用户上传文件添加来源及信任标签，不允许低可信数据直接驱动高权限工具。必要时先在隔离环境中提取事实，再把结构化结果交给执行智能体。
- 设置高风险操作闸门。删除、付款、发布、修改权限、发送敏感数据等操作，应要求用户看到目标、范围和影响后再次确认。审批信号必须来自可信界面，不能由模型自行生成。
- 部署多层检测与阻断。组合使用提示注入检测、输出过滤、敏感信息识别、工具调用白名单、速率限制、成本上限和异常行为监控。任何单一过滤器都不应被视为完整防线。
- 持续开展红队测试。测试直接与间接提示注入、编码混淆、恶意附件、记忆污染、工具链滥用、跨智能体传播和无限循环，并将发现的问题纳入发布门禁和回归测试。
治理层面可参考NIST发布的生成式AI风险管理框架，把治理、风险识别、测量和处置贯穿设计、采购、上线与运营阶段。技术团队还可结合OWASP AI智能体安全清单，重点检查提示注入、工具滥用、数据外泄、记忆污染、过度自治和供应链风险。
四、事件发生后的处置顺序
- 立即止损：暂停相关智能体和高风险工具，撤销令牌，阻断可疑外联，但保留必要证据。
- 确定影响：核查智能体读取、修改和发送过的数据，识别受影响用户、系统及时间范围。
- 清理污染：删除恶意文档、异常向量数据和被污染的长期记忆，轮换可能暴露的密钥与凭据。
- 修复攻击链：不要只增加一条提示词，应同步收紧权限、校验参数、隔离数据并补充审批机制。
- 验证后恢复：通过复现测试、对抗测试和小流量观察确认风险得到控制，再分阶段恢复服务。
有效复盘的目标不是证明模型“犯了错”，而是找出为什么一次不可靠的模型判断能够获得真实权限、接触敏感数据并完成不可逆操作。
总结
AI智能体安全的核心，是把模型视为可能出错、可能被诱导的决策组件，而不是可信执行主体。企业应围绕不可信输入隔离、最小权限、确定性策略、高风险审批、全链路审计和持续红队测试建立纵深防线。只有将防护落实到身份、数据、工具和业务流程中，才能在保留智能体效率优势的同时，把单次模型失误限制在可发现、可阻断、可恢复的范围内。
