生成式人工智能正在把代码产出速度推向新阶段,但“能够运行”并不等于“可以安全上线”。2026年9月11日,工业和信息化部发布《“人工智能+软件”专项行动实施方案》及解读,明确提出完善生成代码安全审查机制,推动重点行业新上线软件在上线前开展安全检测,发现风险及时整改。工信部政策解读同日的公开报道也提到,需要防范智能编程工具恶意指令注入等新型攻击,并强化开发工具和代码库的访问控制。相关公开报道
企业落实这一要求,不能只在发布前增加一次漏洞扫描,而应建立“风险分级、独立审查、漏洞复测、责任追踪”的完整闭环。制度设计还应以《互联网信息服务管理办法》相关禁止性要求及互联网治理“七条底线”为基础,确保生成代码及其承载的业务不触碰法律法规、国家利益、公民合法权益、社会公共秩序、道德风尚和信息真实性等边界。
一、先按业务影响给生成代码分级
审查资源有限,平均用力容易导致低风险修改拖慢交付,高风险代码却审得不深。建议在代码进入合并请求时,由开发人员根据数据类型、权限范围、外部暴露面和失效后果完成初始定级,再由模块负责人复核。
- 一级低风险:内部工具、样式调整、非敏感日志处理,以及不接触生产数据的辅助脚本。执行基础代码审查、单元测试、依赖检查和密钥扫描即可。
- 二级中风险:普通业务接口、数据库读写、文件上传、第三方接口调用及用户输入处理。除人工审查外,应增加静态应用安全测试、软件成分分析、接口鉴权测试与越权测试。
- 三级高风险:身份认证、权限控制、支付结算、个人信息处理、生产控制、核心算法配置,以及能够自动调用终端或修改数据的智能体代码。此类代码必须由安全人员参与审查,开展动态测试、针对性渗透验证,并由业务责任人签署上线意见。
分级不是给项目贴永久标签。同一功能只要新增敏感数据处理、扩大公网暴露范围、引入高权限插件或让智能体获得自主执行能力,就应自动提升审查等级。未完成定级的生成代码不得进入发布流水线。
二、把审查门禁放进开发流程
生成代码应默认视为“来源可记录但安全性尚未证明的代码”。开发人员提交合并请求时,需要标明使用的生成工具、生成范围、主要提示要求、人工修改内容和新增依赖。企业不必保存包含商业秘密的完整对话,但应保留足以说明来源、用途和责任人的审计信息。
审查可以设置三道门。第一道是机器门禁,自动检查已知漏洞、硬编码密钥、高危函数、许可证冲突、虚构依赖和异常网络请求;第二道是同行审查,重点判断业务逻辑、鉴权边界、异常处理和数据最小化是否正确;第三道是安全审查,针对中高风险代码验证注入、越权、敏感信息泄露、供应链污染及智能体非预期操作。
任何扫描结果都不能替代人工判断,任何人工判断也不能跳过可重复执行的自动化测试。
围绕“九不准”和“七条底线”,审查人员还应检查代码是否可能生成、放大或传播违法有害信息,是否存在绕过内容安全策略的隐藏接口,是否侵害用户隐私、知识产权或其他合法权益。对于内容生成、搜索推荐和自动发布模块,应重点核验输入过滤、输出拦截、权限隔离、人工干预与日志留存能力。
三、用双重证据完成漏洞复测
漏洞被标记为“已修复”之前,至少需要保留两类证据:一是原始漏洞触发条件已经失效,二是修复没有破坏正常业务。复测人员原则上不应是补丁的唯一编写者,三级高风险问题应由安全团队或具备独立性的测试人员复核。
- 固定原始请求、测试账号、环境版本、代码提交号和漏洞触发步骤。
- 在相同条件下重放漏洞,确认攻击路径已经被阻断,而不是仅被前端页面隐藏。
- 补充边界值、异常输入、并发调用和权限切换测试,防止修复只覆盖单一样例。
- 运行回归测试,确认认证、数据处理和核心交易链路没有引入新的缺陷。
- 形成复测记录,将证据、复测人员、完成时间和最终结论关联到发布单。
2026年9月10日发布的人工智能滥用威胁报告指出,攻击者已经尝试将通用模型用于网络行动、欺诈及其他恶意活动,相关平台需要通过检测、处置、强化安全措施和情报共享持续应对。威胁情报报告这说明复测不应只验证传统漏洞,还要关注恶意仓库说明、提示词注入、工具调用劫持和自动执行链路被操纵等新型风险。
四、建立可追溯而非可甩锅的责任链
责任追踪的目的不是把所有问题归咎于开发人员,而是确保每个关键决定都有明确承担者。建议每次发布至少记录生成代码提交人、模块负责人、审查人、复测人、上线批准人和运行监控负责人,并通过代码提交号、漏洞工单号、构建制品摘要和发布批次建立关联。
责任边界可以按照“谁提出需求,谁确认业务风险;谁提交代码,谁完成自检;谁批准合并,谁确认审查充分;谁执行复测,谁对验证结论负责;谁批准上线,谁接受剩余风险”划分。同一人员不宜同时承担高风险代码编写、最终安全复测和上线批准三项职责。
上线后发现问题,应优先执行回滚、隔离、证据保全和影响评估,再开展原因分析。复盘应区分模型生成缺陷、人工修改错误、审查遗漏、测试覆盖不足与权限配置问题,形成规则更新、测试用例补充和责任改进措施,避免简单追责导致团队隐瞒风险。
总结
生成代码治理的关键,不是禁止使用人工智能,而是让交付速度始终受制于可验证的安全门槛。企业可以用风险分级确定审查深度,用自动化与人工复核构成上线门禁,用独立复测证明漏洞真正关闭,再用不可割裂的审计记录连接需求、代码、测试和发布责任。只有形成这一闭环,生成代码才能从“快速产出”转化为“可信交付”。
事件或资料日期:
2026年9月11日,工业和信息化部发布《“人工智能+软件”专项行动实施方案》及政策解读,提出完善生成代码安全审查机制,并推动重点行业新上线软件在上线前开展安全检测。[1][2]
2026年9月10日,Anthropic发布人工智能滥用威胁情报报告,披露其对网络行动、欺诈等恶意使用活动的识别与处置情况。[3]