一篇于2026年10月14日提交至 arXiv 的自然语言处理研究指出，语言模型在训练过程中可能已经在隐藏状态中编码了某项任务信息，但要等到输出端的“读出层”（unembedding）学会把这些信息映射为词元，模型才会在实际生成中表现出该能力。论文原文《Learning to Read Out: Unembedding Dynamics in Language Model Pretraining》
研究者把关注点从模型输出转向读出矩阵本身，提出“参数轨迹交叉编码”方法：使用不同训练检查点的读出权重，追踪词元表示如何随训练变化。与主要分析激活值的方法不同，该方法只需要模型检查点权重，不依赖额外的标注语料或激活数据。
在对 Pythia 系列模型的实验中，论文报告读出矩阵在训练早期约 0.4%至1.1%的阶段出现集中重组，WordNet 词语类别也在这一阶段开始能够从读出行中被解码。针对主谓一致、间接宾语识别和数字比较等任务，线性探针能够在模型自身输出正确答案之前，从隐藏状态中识别相关信息。这意味着“模型已经具备某种内部表示”和“模型能够通过自身输出稳定表达该能力”并不是同一时间点。
研究还进行了小规模受控预训练实验，只调整读出层的学习率。结果显示，提高读出层学习率会让其更早形成，并缩短内部信息已经存在但模型输出尚未表达的时间差，同时对最终损失影响较小。论文据此提醒，若仅根据模型输出或行为曲线判断能力何时出现，可能把读出层的成熟时间误当成模型首次学会该能力的时间。
这项工作目前主要基于 Pythia、OLMo-2 及小规模控制实验，结论是否适用于更多架构、训练语料和复杂任务，仍需进一步验证。它对自然语言处理模型分析的直接启示是：评估模型能力发展时，除了观察准确率和生成结果，也应区分隐藏状态中的信息可用性、读出层的表达能力以及二者的共同变化。对于训练配方比较，读出层学习率等细节也可能影响早期能力曲线的解释。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
