在 Transformer 推理中，Token 数量直接影响注意力计算、显存占用和端到端延迟。Token 合并的核心思路，是把语义相近或信息重复的 Token 聚合为更少的表示，再让后续网络处理压缩后的序列。与固定池化或直接剪枝相比，可学习策略能够依据任务目标决定“哪些应该合并、合并到哪里、保留多少”，但也带来了新的权衡：压缩越激进，计算量通常越低，细粒度语义却越容易被平滑或混淆。
Token 合并为何能够减少推理计算量
设某层输入包含 N 个 Token，每个 Token 的维度为 D。标准自注意力需要构造 N×N 的相关性矩阵，其主要计算量会随序列长度近似二次增长；线性投影和前馈网络的计算量则通常与 N 近似线性相关。因此，如果在网络中段将 N 个 Token 压缩为 M 个，其中 M 小于 N，后续多层的注意力、前馈网络和中间激活都会随之缩减。
真正的收益取决于合并发生的位置。如果合并过晚，前面的大部分层仍在处理完整序列，节省空间有限；如果合并过早，模型尚未形成稳定的上下文表示，局部边界、否定关系、小目标或低频细节可能被过早混合。工程上通常需要同时设计合并层位置、每层压缩比例以及重要 Token 的保护规则，而不是只设定一个全局压缩率。
合并模块本身也有成本。学习相似度、生成分配矩阵或执行动态聚类，都需要额外运算。如果为了减少 N 个 Token 而先构造同样规模的全量两两相似度，理论 FLOPs 的下降未必能完全转化为真实延迟收益。因此，轻量投影、局部候选匹配、分组路由和稀疏分配通常比复杂聚类更适合在线推理。
“可学习”与固定规则的关键差异
固定合并通常依赖余弦相似度、空间邻近关系或预设匹配规则，部署简单，也可以直接作用于已有模型。ToMe 就通过逐层匹配并合并相似 Token，在不重新训练的条件下提升视觉 Transformer 的吞吐率，同时比单纯删除 Token 更完整地保留信息，相关机制可参考 ToMe 论文[1]。
可学习合并则把分配过程纳入训练。模型可以学习若干目标 Token、合并掩码或软路由权重，再以加权聚合的方式压缩序列。其优势是压缩决策能够围绕最终任务优化，而不是把“特征距离近”直接等同于“语义可以互换”。例如，外观相似的背景区域可以积极合并，而对分类、定位或问答至关重要的局部区域可以获得独立表示。LTM-Transformer 对可学习合并与效率目标进行了专门设计，可参见 相关研究[2]。
细粒度语义为何容易在合并中受损
合并本质上是一种有损压缩。多个 Token 被加权平均后，公共特征会增强，差异性信息则可能减弱。对于图像，这种损失可能表现为纹理、轮廓、小物体和空间关系模糊；对于文本或多模态输入，则可能表现为实体边界、数值、修饰关系以及跨模态对齐被稀释。
相似度也不等于可合并性。两个 Token 在当前层的向量距离很近，不代表它们对后续任务具有相同作用。例如，“包含目标的微小区域”与周围背景可能在浅层特征上相似，却对检测结果具有完全不同的重要性。因此，更稳妥的策略应综合特征相似度、任务重要性、空间位置、上下文关系和不确定性，避免只用单一距离指标做决定。
另一个风险是误差累积。如果同一个语义区域在多个层连续参与合并，其表示可能逐渐偏向高频或占比更大的信息。为减轻这一问题，可以维护每个合并 Token 所代表的原始 Token 数量，在注意力或聚合时进行规模校正；也可以保留少量锚点 Token，使关键实体、全局摘要和任务指令不参与普通合并。
如何取得计算效率与语义保真的平衡
- 采用渐进式压缩：浅层保持较高分辨率，中层合并明显冗余，深层再根据任务需要提高压缩率。
- 设置重要性保护：对高注意力、高梯度贡献、低置信度或任务指定区域降低合并概率。
- 使用软合并训练：训练阶段采用可微分权重，让任务损失约束分配；部署阶段再转为稀疏或近似硬分配。
- 加入局部保真约束：除主任务损失外，可比较合并前后的特征、注意力分布或教师模型输出，减少语义漂移。
- 按样本动态分配预算：简单样本使用更高压缩率，复杂场景保留更多 Token，避免所有输入共享同一计算预算。
评估时不能只看 FLOPs
判断策略是否有效，应同时记录理论计算量、端到端延迟、吞吐率、峰值显存以及硬件利用率。动态路由可能引入不规则访存、排序和索引操作，即使 FLOPs 较低，也未必在 GPU、NPU 或边缘设备上更快。批处理中不同样本产生不同序列长度，还可能降低并行效率。
语义保真度也不能只用整体准确率衡量。建议增加小目标、边界区域、长尾类别、细粒度分类和分布外样本测试，并观察压缩率变化下的性能曲线。对于生成任务，还应检查局部结构、一致性和提示词遵循情况。已有研究指出，优先保留高信息 Token 有助于改善生成内容的结构与细节，可参考 ICCV 2025 研究[3]。
总结
可学习 Token 合并不是单纯的序列缩短工具，而是一种任务驱动的计算资源分配机制。它通过减少后续层的 Token 数量降低注意力、前馈网络和激活存储成本，同时也可能因错误聚合损害局部区别、实体边界与关系信息。更可靠的方案通常具备渐进压缩、重要 Token 保护、任务损失约束和硬件友好实现，并以真实延迟和细粒度评测验证收益。其目标并非追求最低 Token 数，而是在可接受的语义损失范围内，把计算留给最有价值的信息。
