导语：在大模型预训练中，数据去重常被理解为“删掉相同网页”，但它实际影响的是训练样本的出现频率、语料结构与模型注意力分配。合理去重能够减少算力浪费和逐字记忆风险，却不等于重复越少越好。若规则过于激进，方言、模板化知识、少数领域资料以及具有共同引用关系的文档也可能被误删，最终使语料表面更干净，实际多样性却下降。
重复数据为什么会改变模型学习
预训练通常以预测下一个词元为目标。某段内容出现一次时，它只是训练分布中的一个样本；出现成百上千次时，就会获得远高于普通文本的梯度权重。模型因此可能把有限容量用于拟合网站页脚、转载文章、新闻通稿、代码镜像和采集模板，而不是学习更广泛的语言规律。
重复还会造成“数量幻觉”。一个语料库即使拥有海量词元，也可能由大量转载、镜像和轻微改写内容组成。文件数量增加并不代表观点、主题或表达方式同步增加。去重的核心价值，正是让训练预算覆盖更多独立信息，而不是反复读取同一信息。
去重如何提升语料多样性
在固定训练词元预算下，移除重复样本可以为长尾内容腾出空间。例如，同一篇热门文章的数千个转载版本被压缩后，小语种资料、专业文档、地方性内容和不同写作风格更有机会被采样。从这个意义上说，去重提高的不是语料绝对规模，而是有效多样性，即每单位计算能够接触多少不同的信息与表达。
研究通常区分精确去重、近似去重和局部片段去重。精确去重适合处理完全相同的文件；基于 MinHash、n-gram 或向量表示的近似方法可以识别排版变化、轻微编辑和跨站转载；片段级方法则用于发现被嵌入不同页面的公共段落。不同层级需要组合使用，因为只比较文件哈希无法处理“正文相同、广告不同”的网页。
不过，多样性并非简单地以“剩余文档数”衡量。两篇文档可能文本相似，却分别包含不同注释、语境或立场；大量采用固定格式的法律文本、科研摘要和程序代码，也可能具有真实的信息差异。若仅凭相似度阈值批量删除，容易把结构重复误判为内容重复。
去重为何能够降低模型记忆风险
模型记忆与样本出现次数密切相关。重复文本被多次优化后，更容易在特定提示下被逐字输出。相关研究指出，模型容量、样本重复次数以及提示中提供的上下文长度，都会影响训练文本被复现的概率，具体关系还会因模型与数据集而异。[1]
因此，去重是一项重要的隐私与安全措施。它可以降低电话号码、电子邮箱、聊天记录或受版权保护段落因多次抓取而被强化记忆的机会。ACL 2022 的研究在所测试的数据与模型设置中发现，去重后模型生成记忆文本的频率明显下降，同时训练效率和评估可靠性得到改善。这里的实验结果不能直接外推到所有大模型，但足以说明重复频率是可干预的风险因素。[2]
去重也能减少训练集与测试集污染。如果评测题、答案解析或近似版本已经出现在预训练语料中，模型得分可能来自记忆，而非真正的推理和迁移能力。对训练数据内部去重之外，还应执行训练集与验证集、基准测试集之间的交叉去重。
为什么去重不能替代隐私治理
一条敏感信息即使只出现一次，也可能被模型记住；反过来，重复出现的公共知识未必构成隐私风险。去重只能降低暴露概率，不能证明模型“没有记忆”。实际流程还需要结合个人信息识别、敏感字段脱敏、来源许可检查、数据删除机制，以及训练后的成员推断和文本提取测试。
此外，保留一个副本仍意味着该内容进入训练集。如果原始材料缺乏合法来源、包含秘密信息或明显不应被使用，那么正确措施是完整过滤，而不是从多个副本中随机留下一个。去重解决的是冗余问题，合规过滤解决的是数据是否应当存在的问题，两者不可混为一谈。
过度去重可能带来的副作用
削弱少数群体表达：资源稀缺语言经常依靠转载和镜像传播，统一阈值可能使其被删除得更彻底。
破坏知识频率信号：多个独立来源表达相同事实，有时代表社会共识，而不只是机械复制。
误删结构化内容：合同、病例模板、代码许可证和技术规范具有固定结构，但其中的变量部分仍有训练价值。
引入来源偏差：聚类后只保留首个样本，可能长期偏向抓取时间更早或规模更大的网站。
因此，去重后的语料甚至可能在字面上更不重复，却在来源、地域和观点层面更加单一。评估时应同时观察词汇覆盖、主题分布、语言比例、域名集中度、文档长度、时间跨度和来源类型，而不能只报告删除比例。
更稳健的工程实践
分层处理：先删除完全相同的文件，再识别近似文档，最后处理高频公共片段，避免一次性使用过强规则。
保留聚类信息：记录每个样本的副本数量、来源和删除原因，使后续审计能够还原语料变化。
采用分类型阈值：新闻、代码、论文、论坛和法律文本不应共享单一相似度阈值。
设置代表样本策略：从重复簇中优先保留来源清楚、正文完整、噪声较少且许可明确的版本，而非简单保留第一条。
开展前后对照：同时比较模型困惑度、下游任务、长尾能力、逐字复现率和测试集污染情况。
在完成基本去重后，还可以进一步进行数据选择与多样化，而不是把“删除重复”当作终点。D4 研究表明，在已去重数据上依据表示空间进行选择，可以改善训练效率与任务表现；该结果也提醒我们，真正关键的是样本组合，而不只是数据总量。[3]
总结
LLM 数据去重本质上是在重新分配训练权重。适度去重能够减少无效重复，让有限算力覆盖更多独立信息，并降低逐字记忆、隐私泄露和评测污染风险；但过度去重也可能误伤长尾语言、专业模板和多来源知识。更可靠的方案不是追求最高删除率，而是采用分层算法、分类阈值、来源审计与训练后测试，在有效多样性、知识覆盖和记忆风险之间取得可验证的平衡。
