百度研究团队在2026年10月13日提交的预印本中，提出FlashMask-3，一种面向长上下文训练的掩码感知分布式注意力方法。论文关注文档掩码、前缀语言模型、滑动窗口和块稀疏等结构化注意力场景：当序列长度扩大到数万乃至十万级令牌、训练任务进一步采用多节点上下文并行时，掩码生成、稀疏计算调度和不同设备间的负载不均可能成为主要瓶颈。原始论文：FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
论文的核心做法包括三部分。第一，在Hopper架构GPU上将掩码处理纳入类似FlashAttention-3的异步流水线，通过额外的线程组识别完全屏蔽、部分屏蔽和未屏蔽的数据块，减少无效加载与计算。第二，研究者利用列方向稀疏掩码的结构，通过clip-shift-max变换把全局掩码映射到各个并行设备，不需要设备之间额外交换掩码信息。第三，方法引入分层的计算与通信负载均衡机制，并尝试跳过完全被掩码覆盖的通信数据，从而同时缓解计算长尾和跨节点通信压力。
按论文报告，在单张H100 GPU、4K至128K上下文和12种结构化掩码测试中，FlashMask-3相较FlashMask、FlexAttention和MagiAttention取得了不同幅度的TFLOPs提升；在上下文并行度为4至32的测试中，作者还报告了相对Megatron-Core和MagiAttention的吞吐提升。在一个118B-A14B混合专家模型、128K上下文、128张H100 GPU的端到端训练实验中，论文称其相对采用Dual Chunk和all-gather的基线提升了7.3%至11.0%的训练吞吐，注意力前向与反向计算快了24.5%至44.9%。
这项工作的意义主要在系统优化，而不是提出新的模型架构。它说明长上下文模型的效率不仅取决于显存容量或矩阵乘法速度，也取决于注意力掩码能否被压缩表达、并行切分是否保持负载均衡，以及通信能否与计算有效重叠。不过，上述数字来自论文作者设定的GPU、模型、掩码类型和基线配置，目前属于预印本中的实验结果，尚不能直接推断所有模型或云端部署环境都能获得相同收益。实际价值还需要独立复现、不同硬件测试以及代码在更广泛训练框架中的兼容性验证。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
