导语:复旦大学、香港理工大学、四川大学、阿里巴巴和上海交通大学研究者在2026年11月10日发布预印本《Beyond Passive Imitation: On-Policy Mid-Training Distillation for Language Models》,提出“在策略中期训练蒸馏”(OPMD)方法,试图解决语言模型持续预训练过程中,同一批领域数据对不同基础模型产生相反效果的问题。论文原文
一、研究关注持续预训练的模型依赖性
持续预训练通常使用下一词预测目标,让模型在数学、代码等专业语料上继续学习。论文在相同的10亿词元数学语料和训练方案下比较Llama-3.2-3B与Qwen3-1.7B-Base,观察到前者在MATH-500和Minerva测试中有所提升,而后者的表现明显下降。研究者据此认为,领域语料的价值并不是固定的,可能取决于基础模型已有能力、训练状态和数据与模型之间的匹配程度。
二、OPMD不再只模仿固定文本
传统下一词预测主要依据离线语料中的真实前缀训练,模型很少主动判断哪些上下文对当前自身最有价值。OPMD则先利用轻量代理模型寻找预测不确定性较高的“锚点”,再让学生模型从这些上下文出发生成自己的轨迹。冻结的教师模型随后对学生实际访问到的状态提供逐词反向KL监督,使训练过程更接近模型真实生成时会遇到的情形。
三、核心变化是把中期训练变成主动知识获取
论文将持续预训练描述为一种由模型状态驱动的知识获取过程,而不是对整个语料库进行均匀复制。高不确定性位置被视为更值得探索的上下文,研究还比较了高熵、低熵和随机锚点选择策略,并在相同训练样本预算下进行实验。这样做的目标不是增加部署阶段的模型结构,而是在训练阶段把计算集中到更可能影响模型能力的区域。
四、实验结果显示方法具有初步价值,但证据范围有限
在论文报告的数学任务实验中,OPMD让Qwen学生模型相较基础版本取得提升,并优于会造成性能下降的下一词预测持续训练基线。作者还称,该方法不需要部署时保留教师模型,也不会增加推理阶段开销。不过,这些结果目前来自一篇尚未经过同行评审的预印本,实验主要围绕数学语料、特定模型和有限基准展开,尚不能据此推断其对通用语言能力、其他领域或更大模型同样有效。
五、对NLP训练流程的启示
这项工作把数据选择、在线生成和知识蒸馏结合起来,说明持续预训练的关键问题可能不只是“语料够不够多”,还包括模型在何种状态下接收什么样的监督。若这一方向得到更多验证,未来领域适配可能会从静态数据清洗,进一步转向根据模型当前能力动态安排训练上下文。但其计算成本、教师模型质量、锚点选择稳定性以及对通用能力的影响,仍是落地前需要重点评估的问题。
创业者和行业观察者应关注什么
• 训练收益是否稳定:应区分单一数学基准上的提升与跨任务、跨领域的普遍收益。
• 适配成本是否可控:主动生成轨迹和教师监督可能增加训练期算力,需与传统持续预训练比较总成本。
• 能力退化是否得到缓解:重点观察领域能力增强是否伴随通用语言理解、事实性或指令遵循能力下降。
• 方法是否具备可复现性:关注代码、训练数据、教师模型和完整消融实验是否持续公开。
总结
OPMD的价值在于重新审视语言模型持续预训练中的“被动模仿”机制:同一语料并不必然适合所有模型,训练监督也可以围绕学生模型实际访问的状态动态组织。现有结果支持其作为一种有潜力的NLP训练方法继续研究,但由于证据来自单篇预印本和相对有限的实验设置,现阶段更适合视为方法探索,而不是已经成熟的通用训练范式。
事件及资料日期:事件及论文预印本发布于2026年11月10日;本文依据论文原文整理,论文尚未标明经过同行评审。
资料来源:
1. 《Beyond Passive Imitation: On-Policy Mid-Training Distillation for Language Models》,2026-11-10,Beyond Passive Imitation: On-Policy Mid-Training Distillation for Language Models
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情