2026年9月2日,中央网信办发布“清朗·整治AI应用乱象”专项行动第二阶段工作信息,将利用AI制作发布虚假信息列为重点整治问题,并通报了利用AI生成虚假灾害现场、救援画面,进而误导公众、制造恐慌的典型情形。灾害信息直接关系公共安全和社会秩序,平台不能只在接到举报后删帖,而应把核验责任前移至生成、上传、推荐、热榜和再传播等关键环节。相关信息已由中国网信网、央视网和人民网公开报道并相互印证。[1][2]
从“内容真假”转向“传播风险”
AI虚假灾害信息的危害不只在于内容失实。它可能使用逼真的洪水、山火、地震废墟或救援画面,搭配具体地点、时间和伤亡描述,诱导用户转发,甚至干扰群众避险判断和正常救援秩序。因此,平台审核不能仅检查画面有没有明显生成痕迹,还要判断内容是否冒用权威信源、是否影射现实灾情、是否可能引发恐慌,以及是否正通过推荐机制迅速扩散。
这类治理可以《互联网信息服务管理办法》所确立的禁止性内容要求为底线,并联系“七条底线”中法律法规、国家利益、公民合法权益、社会公共秩序、道德风尚和信息真实性等要求。对灾害场景而言,最需要落实的是信息真实性底线、社会公共秩序底线和法律法规底线。即使一段视频注明“AI制作”,只要它故意绑定真实灾区、冒充现场记录或者配以虚假伤亡信息,也不能因为带有标识就免于核验和处置。
建立灾害信息的分级核验流程
平台应设置面向突发灾害的高风险审核通道,对包含具体灾种、地点、日期、伤亡数字、救援行动和求助联系方式的内容提高核验等级。系统识别到疑似AI生成画面后,不宜简单“一删了之”,而应根据传播影响采取分级措施。
- 低传播、低确定性内容:暂停进入热榜和个性化推荐,提示发布者补充原始素材、拍摄时间、地点或可信来源。
- 与现实灾情高度关联的内容:进入人工复核,核对当地应急管理、消防救援、气象、地震及主流媒体已经发布的信息。
- 可能引发恐慌或妨碍救援的内容:先降低传播能力,停止商业推广和流量激励,再由专业团队完成交叉核验。
- 确认虚构且存在主观误导的内容:删除或者阻断传播,并按照账号历史行为、影响范围和牟利情况采取警告、限制功能或封禁等处置。
核验不能只依赖AI检测器
生成检测模型可以提供线索,但不应成为唯一裁决依据。经过压缩、裁剪、翻拍或二次剪辑的内容可能降低检测准确性,真实影像也可能被错误标记。更可靠的方式是把技术检测与信源核查结合起来,包括比对首发时间、检查画面中的地标和天气条件、追踪文件元数据、搜索是否存在旧闻挪用,并核实所谓“官方通报”是否来自认证账号或政府网站。
中央网信办此次公开信息还提到,相关平台正在优化多模态识别模型、扩充违规样本库并畅通举报渠道。这说明平台需要把文字、图片、音频和视频放在同一语境中研判。例如,画面本身可能只是虚构演示,但标题若写成“某地刚刚发生特大灾害”,整体信息仍可能构成误导。中国网信网通报人民日报报道
完善标识、溯源与申诉机制
平台应检查AI生成合成内容的显式标识是否清晰展示,同时保留机器可识别的技术标识、上传记录、修改轨迹和处置日志。对于去除标识后再次上传、多个账号同步发布或者利用矩阵账号放大的内容,应关联研判,避免虚假灾害信息反复“换壳”传播。
治理还要避免误伤正常的科普、演练和艺术创作。发布者如果明确说明“应急演练”“灾害模拟”或“AI概念演示”,且没有冒充真实事件,平台可以保留内容,但应限制容易造成误解的标题和封面。对被错误处置的真实现场记录,应提供快速申诉入口,并允许用户提交原始文件、拍摄位置和权威佐证,提高纠错效率。
把推荐系统纳入责任链条
虚假灾害内容能够迅速放大,往往不仅因为有人制作,还因为平台把高刺激画面识别为高互动内容。平台应对灾害、事故和救援类内容设置推荐保护规则,在真实性尚未确认前,不以点击率、停留时长或转发量自动加热。对已被认定失实的内容,还应同步处理缓存、搜索联想、话题聚合和搬运副本,防止“原帖删除、截图继续流传”。
总结
清朗行动第二阶段启动后,平台履行AI虚假灾害信息核验责任,关键不在于增加一句风险提示,而在于形成风险识别、限制扩散、权威核验、分级处置、来源追溯和申诉纠错的完整闭环。坚持信息真实性和社会公共秩序底线,将审核关口前移,并约束推荐系统对未经核实内容的放大,才能兼顾公共安全、用户权益和正常内容创作。