一项发表于2026年10月9日的arXiv预印本提出了数据自适应马氏跨头注意力机制DAMCHA，试图改进Transformer多头注意力中各个注意力头彼此独立、相似度度量固定的问题。论文原文
传统多头注意力通常分别计算每个注意力头内部的查询—键相似度，再将各头结果拼接。这种结构相当于使用一个按头划分的块对角度量矩阵，难以直接表达不同注意力头之间的协同关系。论文作者认为，这可能限制模型对复杂依赖关系的建模能力，也会带来表示冗余和低秩瓶颈。
DAMCHA的核心变化有两点。第一，它学习包含非对角区块的完整跨头度量矩阵，使不同注意力头之间能够交换和组合相似度信息。第二，它使用一个可学习的函数根据当前输入动态生成度量矩阵，让注意力几何结构随上下文变化，而不是在训练结束后对所有输入保持不变。为控制参数规模和过拟合风险，论文还提出在堆叠的网络层之间共享度量生成器参数。
从实现方式看，DAMCHA通过对跨头度量矩阵进行行求和，为每个注意力头生成有效的相似度矩阵，再保留标准多头注意力的输出形式。因此，作者将其定位为可以替换传统多头注意力的模块，并声称在语言建模、图像生成、文本生成和视觉Transformer等实验中优于若干基线方法，同时没有显著增加计算和内存开销。不过，这些结论目前主要来自论文作者报告的实验，具体收益仍取决于模型规模、数据集、基线设置和实现细节。
这项工作的观察价值在于，它把注意力机制重新解释为一种度量学习问题：模型不仅要决定关注哪些位置，还可以根据输入决定不同表示子空间之间如何建立联系。若这一方向在更大规模模型和更多任务上得到复现，未来的注意力模块可能会从固定的点积相似度，进一步转向输入条件化的关系建模。但动态生成完整跨头关系也可能增加训练稳定性、推理实现和硬件适配方面的要求，论文目前尚不足以证明其已经适合大规模生产系统。
资料日期说明：论文页面标注提交日期为2026年10月9日；本文将其视为近期公开的研究预印本，不等同于已经完成独立同行评审或产业部署验证。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
