大语言模型的预训练并不是简单地把网页、书籍、论文和代码全部堆在一起。即使模型规模、训练步数与总词元预算完全相同，不同领域语料所占比例也可能让模型形成截然不同的能力结构。通用语料决定知识覆盖面与自然语言基础，专业语料提供术语、事实和推理范式，而二者如何搭配，直接影响跨领域知识能否顺利迁移，以及模型在专业任务中能否稳定发挥。
语料配比为什么会改变模型能力
预训练的核心目标是根据上下文预测后续词元，因此出现频率更高的表达、概念和关系会获得更多参数更新。若网页文本占比过高，模型通常能接触广泛主题和多样表达，但专业知识可能停留在浅层共现；若论文、法律文书或代码占比过高，模型可能更熟悉严谨结构和领域术语，却削弱日常对话、开放主题理解及语言风格的多样性。
语料配比还会改变不同数据源之间竞争训练资源的方式。在固定计算预算下，提高某一领域的采样概率，意味着其他领域获得的训练机会相应减少。因此，所谓“增加专业数据”实际上包含机会成本，关键不是专业语料越多越好，而是增加到什么程度后，边际收益开始下降，并对通用能力产生可观察的挤出效应。
跨领域迁移来自共享表示，而非简单记忆
跨领域知识迁移依赖不同语料中的共同结构。例如，数学证明、程序调试和科学论证都包含条件约束、步骤分解与结果验证；新闻、百科和法律材料则共享实体识别、时间关系与因果表达。当模型在多种领域反复学习这些结构时，就可能形成可复用的表示，从而把一个领域获得的推理模式迁移到另一个领域。
语料多样性因此具有基础价值。The Pile由多个不同类型的数据子集构成，其研究指出，多样化数据有助于提升跨领域知识与下游泛化能力，可参见The Pile论文[1]。但多样性不等于平均分配：规模较小的高质量语料若完全按原始数据量采样，可能几乎无法影响模型；过度上采样又会导致重复学习、记忆风险和语言分布偏移。
专业任务表现取决于数据的“有效密度”
专业任务需要的不只是相关主题文本，还需要足够高的知识密度和任务结构。以医疗为例，科普文章可以提供疾病名称和常见症状，医学论文能补充研究方法与证据表达，临床指南则包含更规范的决策条件。三者都属于医疗语料，但对问答、文献分析和辅助决策任务的价值并不相同。
同样，代码占比提高通常有助于学习形式化语法、变量依赖和可执行逻辑，但如果代码缺少文档、测试、错误修复记录与自然语言解释，模型可能会生成表面合理却难以运行的程序。法律模型若只有法条而缺少判例、合同和解释材料，也容易做到条文复述，却难以完成事实映射与论证。由此可见，专业语料内部的文体配比与质量控制，往往和专业语料的总占比同样重要。
高比例专业语料不一定带来更强专业模型
专业数据存在三个常见瓶颈。第一是重复度，高比例采样小型语料库会让模型多次看到相似内容；第二是覆盖偏差，单一数据库可能集中于特定机构、地区或写作规范；第三是质量差异，未经筛选的专业网页可能混杂过时信息、营销内容和错误结论。若只根据领域标签调整权重，而忽略这些因素，增加占比反而可能放大噪声。
此外，专业任务通常仍以通用语言能力为底座。模型需要理解用户意图、消歧、整合背景知识并清晰表达结论。因此，通用语料不是专业语料的对立面，而是专业能力的承载层。更合理的策略是保留足够广泛的通用语料，再用高质量专业数据强化术语体系、证据标准和推理流程。
如何设计更可靠的配比实验
- 先建立数据域地图：不要只划分“通用”和“专业”，应进一步记录来源、文体、时间、语言、质量等级、重复率和许可证状态。
- 使用小模型开展代理实验：在相同词元预算和训练设置下测试多组配比，比较各领域验证损失与任务指标，避免直接在大模型上进行昂贵试错。
- 同时观察通用与专业能力：指标至少覆盖语言建模、知识问答、推理、代码或目标行业任务，防止只优化单一榜单。
- 评估最弱领域：平均成绩可能掩盖严重短板，可关注不同领域的最差表现、方差以及能力退化情况。
- 采用分阶段或动态采样：前期用多样化数据建立共享表示，后期适度提高高质量专业语料权重，但应持续混入通用数据，降低灾难性偏移风险。
DoReMi研究展示了一种可操作思路：先利用较小的代理模型估计各数据域权重，再按新权重训练更大的模型。其重点并非给出适用于所有项目的固定比例，而是说明配比可以通过验证损失和稳健优化进行系统搜索，而不必完全依赖经验，可参见NeurIPS 2023论文[2]。
从配比优化走向数据治理
真正可复用的方案，应把语料配比视为持续迭代的数据治理问题。团队需要保存每次实验的数据清单、采样权重、去重规则、训练预算和评测结果，并检查语料污染、时间过期、隐私、版权及地域偏差。只有数据版本和评测条件可追踪，才能判断性能变化究竟来自配比调整、质量提升，还是训练过程中的其他因素。
总结
LLM预训练语料配比决定了有限训练预算被分配到哪些知识、表达方式和推理结构上。多样化通用语料有利于建立共享表示与跨领域迁移，高质量专业语料则强化术语、事实和任务范式，但盲目提高专业占比可能造成重复学习、覆盖偏差和通用能力下降。实践中更可靠的方法，是通过细粒度数据分域、小模型代理实验、多维评测和动态采样寻找平衡，并将去重、时效性与合规治理纳入同一套流程。不存在放之四海而皆准的黄金比例，只有与目标任务、数据质量和计算预算相匹配的配比。
