在大语言模型训练与微调中，“最后一个检查点”并不必然是最可靠的模型。随机梯度、样本顺序和学习率变化会让参数在低损失区域内不断移动，单个检查点可能恰好落在边缘或较尖锐的位置。检查点平均通过融合多个训练快照，将这些局部波动部分抵消，尝试得到一个更稳定的参数解。
检查点平均究竟做了什么
设同一次训练后期保存了多个检查点，其参数分别为 θ1、θ2 至 θK。最简单的做法是逐元素计算算术平均，得到新的参数 θavg。也可以采用加权平均，让验证表现更好或时间上更靠后的检查点占据更高权重。需要强调的是，这里平均的是模型参数，不是推理阶段的输出概率，因此最终仍然只部署一个模型，通常不会像集成学习那样增加每次推理的模型数量。
检查点平均与“模型汤”思路相近，但范围略有区别：前者常指同一训练轨迹上的多个快照，后者还可以组合从共同预训练初始化出发、采用不同随机种子或超参数微调得到的模型。相关研究发现，当候选模型处于相互连通的低误差盆地时，权重平均能够改善准确性与分布外表现，同时保持单模型推理成本，参见 Model Soups 论文[1]。
为何会让损失盆地显得更平滑
所谓平滑或平坦，并不是把损失函数本身重新塑形，而是让最终参数更可能位于一个较宽的低损失邻域。若几个检查点围绕同一盆地底部振荡，它们各自携带方向不同的优化噪声。参数平均后，部分相反方向的偏移会互相抵消，使合成点向盆地内部靠近。此时对权重施加小扰动，损失通常不会立即剧烈上升，这正是局部平坦性的直观含义。
随机权重平均研究进一步表明，沿训练后期轨迹采样并平均参数，可以找到比单次收敛点更宽的解域；而面向域泛化的 SWAD 工作也将较平坦的极小值与更小的跨域泛化差距联系起来，参见 SWAD 论文[2]。不过，“平坦”依赖参数尺度、重参数化方式和测量方向，不能只凭二维损失图就下结论。更稳妥的验证方式是同时观察插值损失、随机权重扰动敏感度、Hessian 近似指标与跨种子结果。
对下游任务鲁棒性的实际影响
首先，平均能够降低检查点选择的偶然性。微调数据较少时，验证集上的短期优势可能只是随机波动；综合多个稳定阶段的检查点后，模型不再过度依赖某一步的参数状态，因此在分类、抽取式问答、命名实体识别等任务上更容易保持一致表现。
其次，它可能提升分布变化下的稳定性。尖锐解往往对输入分布、提示措辞或参数扰动更敏感，而位于宽盆地内部的模型通常拥有更大的容错空间。跨语言迁移研究显示，任务微调期间的检查点平均能够降低模型对超参数及目标语言验证数据选择的敏感性，并在多类跨语言任务中获得更一致的收益，参见 ACL 跨语言检查点平均研究[3]。
但这里的鲁棒性不是万能概念。平均可能改善随机种子稳定性、域外泛化或轻微输入扰动下的表现，却不等于自动解决幻觉、提示注入、事实性错误和安全对齐问题。不同鲁棒性维度需要分别设计评测集与指标，不能用单一准确率代替完整判断。
哪些情况下平均可能失效
- 检查点跨越不同损失盆地：如果两组参数之间存在明显高损失屏障，直接取中点可能落入性能较差的区域。
- 混入训练早期快照：尚未充分收敛的参数会把平均结果拉离有效解域。
- 训练后期发生过拟合：机械平均最后若干检查点，可能把多个已退化状态叠加起来。
- 模型结构或参数语义不一致：词表、层数、适配器配置、参数命名或张量形状不同，不能直接逐元素合并。
- 候选模型能力冲突：不同任务或不同对齐目标的模型即使结构相同，也可能出现能力抵消与行为漂移。
更可靠的实践流程
- 只选择训练进入稳定低损失区间后的检查点，并记录训练损失、验证损失及核心任务指标。
- 先做相邻检查点之间的线性插值测试；若插值路径出现明显损失峰值，应缩小采样范围或放弃直接平均。
- 从等权平均开始，再与指数移动平均、最近若干检查点平均及基于验证集筛选的贪心平均比较。
- 平均时使用更高精度累加，并核对嵌入层、归一化参数、输出头和混合精度权重，避免数值及结构错误。
- 在域内、域外、提示扰动、长上下文和多个随机种子上分别评测，同时保留最佳单检查点作为基线。
总结
LLM 检查点平均的核心价值，是把训练后期多个相近解中的随机偏移转化为一个更居中的参数解。当候选检查点位于同一连通低损失盆地时，它往往能降低局部敏感性，使模型呈现更平滑的损失邻域，并提升下游任务在随机波动、超参数变化和一定程度分布偏移下的稳定性。它不是无条件有效的“免费升级”，而是一项依赖检查点兼容性、采样区间和多维评测的工程技术。真正可靠的做法不是盲目平均最后几个文件，而是先验证盆地连通性，再用目标任务与鲁棒性测试决定是否部署平均模型。
