2026年9月14日,国家互联网信息办公室发布消息,全国网络安全标准化技术委员会在2026年国家网络安全宣传周开幕式上发布《人工智能安全治理框架3.0》。全国网络安全标准化技术委员会发布页面显示,框架延续“风险分类、技术应对、综合治理”的核心逻辑,并首次以附件形式系统提出智能体风险管理框架。对企业而言,这意味着安全管理对象正在从“模型输出了什么”,扩展到“智能体获得了什么权限、调用了哪些工具、实际执行了什么操作”。
智能体治理为何必须从内容审核走向行为控制
传统生成式人工智能主要提供文本、图片或代码建议,风险大多集中在内容层面。智能体则能规划任务、读取文件、调用插件、连接业务系统,甚至发送信息和执行交易。一旦遭到提示注入、目标劫持或工具投毒,错误就可能从屏幕上的一段回答转化为真实操作。
因此,以“九不准”和“七条底线”所强调的守法合规、公共利益、社会秩序、真实信息、公民合法权益与网络道德为基础,智能体治理不能只设置敏感词过滤。平台还要防止智能体利用工具生成、传播违法不良信息,越权获取个人数据,冒用身份实施操作,或者借助自动化能力放大欺诈、谣言和网络攻击风险。内容安全是第一道门,权限、执行与审计则是后续必须守住的门。
分级管理不应只看模型能力
《框架3.0》提出,可从应用场景重要性、智能化水平和应用规模等维度评价人工智能安全风险;针对智能体,还应根据可能影响的客体类别、影响程度、影响范围和可恢复性划分操作风险级别。由此可见,风险等级不宜简单等同于模型参数规模,而应重点考察智能体能够接触什么资源、是否可以自主执行,以及错误发生后能否撤销。
- 低风险:仅提供信息检索、摘要和建议,不直接写入外部系统。此类智能体仍需进行内容审核、来源提示和隐私保护,但可允许较高程度的自动化。
- 中风险:能够创建文件、发送内部消息、修改一般业务记录或调用有限工具。执行前应取得用户授权,限制调用次数、作用范围和持续时间,并完整记录操作日志。
- 高风险:涉及资金、医疗、公共服务、重要数据、系统配置、批量外发或不可逆操作。此类任务应默认由人工接管关键步骤,禁止智能体独立完成最终决策。
分级还应动态调整。智能体新增插件、扩大数据范围、更换基础模型、接入新的业务系统,都可能改变其风险等级。一次上线评估不能覆盖长期运行,重大变更后应重新开展安全影响评估、回归测试和权限审查。
守住人类控制底线需要四道机制
第一道:最小权限与独立身份
每个智能体实例都应具有唯一身份和可撤销凭证,只获得完成当前任务所必需的权限。读取、修改、删除、对外发送等权限应彼此分离,任务结束后立即回收临时授权。这样即使智能体被恶意指令诱导,也难以突破既定边界。
第二道:高风险操作强制人工审批
《人工智能安全治理框架3.0》全文明确提出,应制定高风险操作清单,在关键节点设置强制人工审批;删除文件、发送数据、修改系统配置等重要操作需要二次确认,并提供回滚和撤销能力。若审批系统异常、用户无响应或缺少审批规则,应默认拒绝执行,而不是让智能体自行判断。
第三道:运行时监测与安全终止
人类控制不应停留在界面上的“停止”按钮。系统必须限制执行步骤、调用频次、持续时间和资源消耗,发现异常循环、目标偏移、越权访问或批量调用时,能够自动暂停并转交人工处理。同时应设置独立于智能体逻辑的终止开关,避免智能体自行修改或绕过停止机制。
第四道:全过程可追溯
文件操作、网络连接、指令执行、工具与技能调用、交易支付和人工审批均应形成防篡改日志。日志既用于事故追责,也用于发现智能体长期记忆污染、权限逐步扩张和异常工具依赖。记录业务过程时还应同步脱敏,避免审计系统反而成为个人信息泄露的新入口。
平台如何把治理要求落到产品流程
- 上线前建立智能体资产清单,登记模型、工具、技能、数据来源、权限范围和负责人。
- 按影响对象、可逆性、传播范围和自主程度完成风险定级,形成高风险操作清单。
- 通过沙箱、网络分段和容器隔离验证工具调用,开展提示注入、越权、记忆污染和供应链投毒测试。
- 上线后持续监测行为轨迹,出现重大版本、模型、工具或权限变化时重新评估。
- 停用时同步关闭主程序和后台服务,撤销第三方授权及访问凭证,按规则归档或清理数据。
总结
《框架3.0》的关键意义,不只是增加一份智能体安全清单,而是推动治理逻辑从“审核结果”转向“约束行动”。真正有效的分级管理,应把风险等级与权限强度、审批要求、隔离措施、监测频率和应急能力直接绑定。只有让智能体的每一次高风险行动都能够被授权、被观察、被中断、被撤销和被追溯,才能在鼓励创新的同时守住守法合规、公共利益、公民权益以及人类最终控制的底线。
事件及资料日期:《人工智能安全治理框架3.0》于2026年9月14日发布,处于截至2026年9月19日的最近7天范围内。发布信息经国家互联网信息办公室消息与全国网络安全标准化技术委员会发布页面交叉核验;智能体分级、人工审批、运行监测与人类最终控制等内容依据2026年9月版框架全文。