在大语言模型预训练中，批量大小并不是“显存允许多大就设多大”。它同时决定梯度估计的稳定性、参数更新次数、数据并行规模以及硬件吞吐率。理解梯度噪声尺度，可以把批量大小从经验超参数转化为可测量、可动态调整的训练变量，并帮助团队在固定算力预算下减少无效计算。
什么是梯度噪声尺度
预训练通常使用小批量随机梯度下降。每一步只从数据集中抽取一批 Token，因此得到的是总体梯度的带噪估计。不同样本产生的梯度方向越不一致，梯度方差就越大；平均梯度本身越弱，噪声对更新方向的影响也越明显。
梯度噪声尺度可以直观地理解为梯度方差相对于有效梯度信号的大小。常见的简化形式，是用单样本梯度协方差的迹除以总体梯度范数的平方。该值较大，意味着需要平均更多样本，才能获得足够稳定的更新方向；该值较小，则说明较少样本已经能够提供有效梯度。
梯度噪声尺度不是“噪声越小越好”的质量指标，而是判断当前训练阶段能够有效利用多大批量的重要信号。
它如何决定临界批量大小
研究中通常把与梯度噪声尺度同量级的批量称为临界批量大小。当实际批量明显低于临界值时，增加批量能够降低梯度方差，减少达到目标损失所需的优化步数，并扩大数据并行度。此时，多用一些设备通常可以换来接近成比例的训练加速。
当批量接近临界值后，继续增大批量的收益开始递减。一个批次内的许多 Token 提供了相互重叠的信息，虽然单步梯度更加平滑，但减少的更新步数不足以抵消每一步新增的计算量。若批量远高于临界值，训练可能消耗更多 Token 和总 FLOPs，却没有获得相应的收敛速度提升。
McCandlish 等人的大批量训练研究表明，梯度噪声尺度能够预测多类任务中“最大有用批量”的数量级，并用于描述时间效率与计算效率之间的权衡，参见来源链接。需要注意的是，这是一种经验模型，而不是对所有优化器、数据分布和模型结构都精确成立的固定公式。
为什么最优批量会随训练变化
LLM 在训练初期需要学习词法、句法和常见模式，许多样本给出的梯度信息具有较强相关性。此时较小批量就能形成有效更新，过早使用超大批量，容易降低 Token 效率。随着损失下降，总体梯度信号可能变弱，而样本间差异仍然存在，梯度噪声尺度往往上升，模型因而能够有效利用更大的批量。
这解释了批量预热策略：训练开始时采用较小的全局 Token 批量，随后依据训练进度或实测噪声尺度逐步增加，而不是从第一步就使用系统所能承载的最大值。近期针对语言模型临界批量的研究还发现，临界批量在初始化附近可能很小，之后快速增长并逐渐趋稳，相关方法与实验可参见Critical Batch Size Revisited[2]。
对预训练算力利用率的双重影响
批量增大通常有利于硬件利用率。更大的局部批量可以扩大矩阵乘法维度，提高计算单元占用率，并摊薄数据加载、流水线气泡以及梯度同步的固定开销。更大的全局批量还能容纳更多数据并行副本，使大规模 GPU 或加速器集群同时参与训练，从而缩短墙钟时间。
但设备利用率高不等于训练算力利用率高。监控面板中的计算单元可能长期满载，而模型为了达到相同损失却处理了过多 Token。这种情况下，系统吞吐率很好，算法效率却在下降。真正应优化的是达到目标损失所需的总计算量、训练时间及资源成本，而不是孤立追求更高的每秒 Token 数。
梯度噪声尺度与计算最优缩放规律解决的是不同问题。前者关注一次更新应包含多少 Token，后者关注固定总算力应如何分配给参数量和训练数据量。Chinchilla 研究强调模型规模与训练 Token 数需要协调扩展，详见计算最优训练论文[3]；批量调度则进一步决定这些 Token 以多少次参数更新被模型吸收。
可落地的批量选择流程
- 统一计量口径：用每次优化器更新处理的全局 Token 数表示批量，并记录序列长度、微批量、数据并行规模和梯度累积步数。
- 开展小规模对照：在相同数据顺序、优化器与目标损失下测试多个批量，比较所需更新步数、累计 Token、总 FLOPs及墙钟时间。
- 估计噪声尺度：可利用不同微批量的梯度统计估计梯度均值与方差，但不必长期保存完整梯度协方差矩阵，以免监测成本失控。
- 采用分阶段调度：早期保持较小批量以提高数据效率，中后期逐步放大批量，以增加并行度并稳定梯度估计。
- 联动调整学习率：批量变化会改变梯度方差和单位更新处理的 Token 数，学习率、预热长度、梯度裁剪及权重衰减需要联合验证，不能机械套用线性缩放规则。
- 设置停止扩批条件：若增加批量后吞吐提升有限，达到相同验证损失所需的 Token 明显增加，或通信时间开始主导单步耗时，就应停止扩批。
总结
梯度噪声尺度连接了优化统计与系统并行：它越大，训练通常越能从更大的批量中受益；实际批量超过临界区域后，继续扩批则主要增加计算成本，边际加速迅速下降。对于 LLM 预训练，更合理的方案不是寻找一个永久不变的“最佳批量”，而是持续比较损失、Token 数、更新步数、总 FLOPs和墙钟时间，并让批量随训练阶段逐步增长。只有同时兼顾硬件吞吐与达到目标损失的计算效率，才能把昂贵的预训练算力真正转化为模型能力。
