一篇于2026年10月21日提交至arXiv的计算语言学预印本，研究了偏好优化可能引发的“词表坍塌”问题。论文指出，模型在偏好训练中即使各项排序指标持续改善，隐藏状态仍可能积累一种跨词元位置、提示词以及正负样本共同存在的表示偏移；当这种偏移投射到输出层后，某个词元的概率可能异常升高，最终导致生成结果被单一词元主导。论文摘要与原文
论文将这一现象命名为ECHO机制，并把重点放在“共同模态偏移”上。由于该偏移同时移动被选回答和被拒回答的表示，依赖相对排序的损失函数不容易察觉其累积，因此传统偏好指标可能在模型内部已经出现风险时仍保持良好。研究者通过隔离这一偏移进行重构，发现它本身能够复现词表坍塌；将其注入未经相同训练的基础模型，也能重新触发类似现象，而与之匹配范数的随机方向则不能复现。
在论文所报告的实验设置中，使用逐词元排序损失时，17个基础模型谱系中有14个出现了相同类型的坍塌，且全参数微调也未能避免这一问题。不过，作者同时强调，共同模态偏移并不必然意味着马上坍塌：标准DPO和SimPO运行中也能观察到偏移，但只有部分设置会进一步对齐到具体词表方向并形成“词汇井”。研究还报告称，在17次UltraFeedback实验中，验证集排序表现越好的运行，两个公开奖励模型越少偏好其生成样本而不是基础模型样本，这提示单看排序提升可能掩盖生成质量或多样性下降。
这项工作目前是预印本，实验结论仍需要其他模型、数据集和偏好优化算法复现。它的实际价值不在于证明所有偏好训练都会发生词表坍塌，而在于提出一种表示层面的监测思路：除了跟踪奖励、胜率和排序准确率，还应观察隐藏状态的共同方向、输出词元分布以及生成多样性变化。若这些信号在训练早期同步恶化，开发者可以进一步检查损失设计、训练预算和全参数更新范围，而不能仅依据基准排序分数判断模型训练是否稳定。
参考来源：
- ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization 2026-10-21
由 AI 整理，仅供参考；请以原始来源为准。
