大模型训练中的故障往往不是从 Loss 变成 NaN 才开始，而是更早地表现为某些层的激活值偏移、方差突增、动态范围异常或非有限值扩散。对激活值建立持续、分层且可追溯的异常检测机制，可以把训练治理从“崩溃后排查”前移到“异常初现时定位”，从而降低无效计算，提升训练稳定性与故障定位效率。
为什么激活值是训练稳定性的关键观测点
激活值连接着输入数据、模型参数和计算算子。数据污染、学习率过高、归一化失效、混合精度溢出、注意力分数异常以及并行通信错误，都可能先在中间激活中留下痕迹。如果只监控最终 Loss，就会把大量内部状态压缩成一个标量，难以判断问题究竟来自哪一层、哪个训练步骤或哪个计算节点。
需要关注的异常也不应局限于 NaN 和 Inf。激活均值持续漂移、标准差突然放大、最大绝对值快速上升、绝大多数元素接近零、分布尾部显著变厚，以及不同数据并行 Rank 之间统计量不一致，都可能是训练即将失稳的早期信号。尤其在低精度训练中，动态范围与数据类型不匹配还可能产生上溢、下溢或量化误差累积。
建立多层次的检测指标
基础数值健康检查
第一层检测应覆盖每个关键模块输出中的 NaN、正负 Inf、最大值和最小值。这类检查规则明确，适合作为阻断条件。一旦发现非有限值，应暂停参数更新并保存现场，而不是让异常继续通过残差连接、注意力模块和反向传播扩散。
分布统计与变化趋势
第二层检测可以记录均值、标准差、L1 范数、L2 范数、最大绝对值、零值比例和高分位数。相比固定阈值，更实用的方法是同时观察滑动窗口基线与环比变化。例如，某层的数值仍处于允许范围，但相对过去若干步骤突然放大，仍应触发预警。NVIDIA Transformer Engine 的调试功能支持记录激活、梯度和权重的多种统计量，并允许按步骤范围与频率采样，相关能力可参考官方调试文档。
层间与设备间一致性
第三层检测关注结构关系。可以比较同类 Transformer Block 的激活尺度，判断异常是否从某一层开始逐步放大；也可以比较各个 Rank 的统计摘要，识别单卡数据异常、通信不同步或分片配置问题。在张量并行和流水线并行场景中，日志必须包含模型层名、全局步骤、微批次编号、Rank、精度模式和输入批次标识，否则异常发生后很难重建传播路径。
异常检测如何提升训练稳定性
- 提前停止污染：在优化器更新之前检查关键激活和梯度，可防止一次异常计算写入模型参数及优化器状态。
- 支持分级处置：轻微波动只记录告警，连续越界时降低采样间隔，出现非有限值时停止更新并保存检查点。
- 缩小恢复范围：如果能够确定首个异常步骤，就可以从最近的健康检查点恢复，而不必盲目回退大量训练进度。
- 验证修复效果：调整学习率、损失缩放、归一化参数或精度策略后，可通过同一组激活指标判断异常是否真正消失。
需要注意，检测系统不应直接把所有异常都归因于梯度爆炸。激活异常可能来自输入样本、掩码构造、除零、对数定义域、Softmax 前的极端值或自定义算子。正确做法是把预警视为定位入口，再结合梯度、参数更新量和数据批次进行交叉验证。
如何快速定位首个故障点
- 确定首个异常步骤：通过训练日志和周期性检查点锁定健康步骤与异常步骤之间的最小区间。
- 从摘要切换到精细采样：平时只记录统计量，复现窗口内再提高采样频率，并扩大到相邻层。
- 追踪首个异常层：沿前向路径比较各层输入和输出，判断异常由该层产生，还是从上游传入。
- 关联数据与运行环境：保存批次索引、随机种子、Rank、算子版本和精度配置，排除无法复现的环境差异。
- 检查反向传播：若前向激活正常而梯度异常，可临时启用自动微分异常检测。PyTorch 的 Autograd 会记录计算图并支持相关调试，详见PyTorch Autograd 文档。
在 PyTorch 中，可以通过前向 Hook 收集中间输出，但全局 Hook 会引入全局状态，官方将其定位为调试或性能分析用途，相关说明见forward hook 文档。生产训练更适合采用白名单层、低频采样和张量摘要，只有触发异常后才临时开启高成本检查。
落地时应避免的常见误区
首先，不要为所有层、所有步骤保存完整激活张量，这会显著增加显存、存储和通信压力。其次，不要为所有层设置相同阈值，因为嵌入层、注意力输出、归一化层和前馈网络具有不同分布特征。再次，不要只看单步绝对值，训练早期、学习率切换点和数据阶段变化都可能造成正常波动。最后，检测结果必须能够关联代码版本、模型配置和数据版本，否则日志再丰富也难以形成可复现证据。
总结
LLM 激活值异常检测的核心价值，是把隐藏在模型内部的数值变化转化为可观测、可告警和可追踪的工程信号。通过基础健康检查、分布趋势监控、层间比较和设备间一致性分析，团队可以更早发现失稳征兆，并把故障范围缩小到具体步骤、层、Rank 和数据批次。采用“常态低开销监控、异常时精细采样、恢复后对比验证”的分级机制，能够在控制性能成本的同时，提高训练连续性和根因定位效率。
