当上下文从几千 token 扩展到数万乃至更长时，训练瓶颈不再只是模型参数能否装入显存。自注意力需要让每个查询访问完整上下文中的键和值，计算量随序列长度快速增长，中间激活也会持续占用显存。注意力分片通过把序列或注意力头分布到多张 GPU，将单卡无法承载的长序列变成可执行任务，但它同时引入了新的通信路径。最终吞吐高低，取决于分片后节省的显存和计算，能否抵消跨卡交换数据的成本。相关机制可参考 Ring Attention 论文与 Megatron Core 上下文并行文档。
注意力分片究竟分了什么
序列并行并不只有一种实现。较基础的方案只在 LayerNorm、Dropout 等非注意力模块上切分激活，而面向超长上下文的上下文并行会沿序列维度切分输入及各层激活。假设序列长度为 S、并行度为 P，每张卡通常只保存约 S/P 个 token 对应的局部张量，从而显著降低单卡激活压力。
问题在于，自注意力不是完全局部的。某张卡持有的查询分片 Q，仍要与整段序列的 K、V 发生交互。因此，注意力分片并没有消除全局依赖，而是把“单卡读取完整 K、V”转化为“多卡之间交换 K、V 或重排注意力头”。通信设计由此成为长上下文吞吐的核心变量。
两类典型通信方式
环形交换 K、V 分块
Ring Attention 让每张卡固定处理本地 Q，并在环形拓扑中逐轮接收其他设备的 K、V 分块。设备一边计算当前注意力块，一边传输下一块数据，通过流水化实现通信与计算重叠。其优势是无需在单卡上同时保存完整 K、V，并且能够沿设备数扩展可处理的上下文长度。其效率前提是每个分块提供足够长的计算时间来覆盖通信，否则 GPU 会频繁等待网络。具体设计见 Ring Attention。
序列与注意力头之间重排
DeepSpeed-Ulysses 先沿序列维度切分 Q、K、V，再通过 all-to-all 通信，把数据布局转换为“每张卡拥有完整序列、但只负责部分注意力头”。完成局部注意力后，再执行一次反向 all-to-all，将结果恢复为序列分片。该方法容易复用高效的本地注意力内核，而且在序列长度与并行设备数按比例增长时，理论上的单设备通信规模更容易保持稳定。相关说明可查阅 DeepSpeed-Ulysses 论文。
分片如何改变训练吞吐
首先是正向收益：分片降低了每张卡的激活和注意力工作集，使训练可以减少部分重计算，或在相同显存下提高微批大小。更大的有效批量通常能提升矩阵运算利用率，并减轻流水线并行中的气泡问题。因此，超长序列场景下的吞吐提升，往往不是来自注意力计算量消失，而是来自显存约束得到缓解后，系统能够采用更高效的执行配置。
其次是并行度的边际递减：增加序列并行卡数后，本地序列块变短，单卡计算时间随之下降，但每层仍要启动集合通信或点对点传输。当分片过细时，通信延迟、内核启动开销和同步等待所占比例会上升，新增 GPU 可能只提高可训练的最大长度，却不能按比例提高每秒处理的 token 数。
最后是负载均衡：因果注意力的有效计算区域呈下三角结构。若简单连续切分序列，靠前分片需要访问的历史较少，靠后分片承担的计算更多，容易产生设备间等待。交错式分片、双向分配或针对因果掩码的负载均衡布局，可以让各设备获得更接近的计算量。Megatron Core 的上下文并行实现也强调利用负载均衡和高效注意力内核减少无效计算，参见 官方文档。
通信效率取决于哪些因素
- 分块大小：块越大，矩阵乘效率和通信覆盖通常越好，但峰值显存也越高；块过小则容易被传输延迟和调度开销主导。
- 网络拓扑：环形方案更依赖稳定的点对点带宽，all-to-all 则对交换网络和跨节点拥塞更敏感。序列并行组应优先放在高速互联域内。
- 注意力结构：MQA 或 GQA 使用更少的 K、V 头，可降低 K、V 交换量；普通多头注意力的通信压力通常更大。
- 计算通信重叠：应使用独立通信流、异步传输和双缓冲，让下一分片在当前分片计算期间到达，而不是计算结束后再启动通信。
- 并行策略组合：序列并行度不能脱离张量、流水线和数据并行单独决定。张量并行过大也会增加层内集合通信，与注意力分片争抢链路。
工程调优应看什么
实践中不应只比较“每步耗时”，还应同时记录有效 token 吞吐、单卡计算利用率、峰值显存、通信时间占比、链路带宽利用率以及负载最慢设备的等待时间。测试至少应覆盖不同序列长度、分片粒度和节点数量，并固定模型结构、精度与全局 batch，避免把批量变化误判为序列并行收益。
一种稳妥的调优顺序是：先用最少的序列并行度解决显存不足，再逐步增加分片规模；随后观察注意力计算能否覆盖 K、V 交换；如果通信暴露明显，则优先增大分块、调整并行组映射或减少跨节点通信，而不是继续增加设备。对于头数可整除且集合通信性能强的平台，可以重点评估 Ulysses；对于希望流式处理 K、V、并擅长点对点传输的环境，环形方案通常更值得尝试。
总结
注意力分片的价值，是用分布式显存和并行计算换取超长上下文能力；它的代价，则是每层新增的数据交换与同步。合理分片可以扩大可训练序列、降低激活压力，并通过更大的微批和更少的重计算改善吞吐。分片过细、拓扑不匹配或通信无法被计算掩盖时，吞吐反而会下降。工程上的关键不是追求最高并行度，而是在给定模型、上下文长度和网络条件下，找到计算时间、通信量、显存占用与负载均衡之间的最佳点。
