arXiv页面显示,一篇于2026年10月15日提交的计算机视觉论文提出DaTMe(Dynamics-aware Token Merging),尝试在不重新训练模型的情况下,加速扩散模型的图像生成。论文摘要
这项方法针对扩散模型推理中“哪些令牌可以合并、哪些细节必须保留”的问题。研究者认为,仅依据文本提示保护前景区域,可能忽略未被提示明确描述的背景物体、边界和局部细节。DaTMe因此结合两个信号:一个衡量相邻扩散步骤中预测图像的变化,另一个捕捉边界与细节等局部高频结构。
在给定压缩比例后,方法会保留重要令牌作为锚点,并优先合并那些在时间上趋于稳定、结构上较为同质的令牌。摘要称,该方法已在PixArt-a和FLUX上进行实验,并在整幅图像范围内保持视觉保真度。其潜在价值在于减少重复的令牌计算,为扩散模型的低延迟推理提供一种无需训练的优化路径。
目前公开信息主要来自论文预印本摘要,页面没有给出具体的速度提升比例、显存节省数值或与所有基线方法的完整对比。因此,这项工作更适合被视为一种正在验证中的推理优化方案,实际收益仍取决于压缩比例、模型类型和图像内容;“保持视觉保真度”也不应直接等同于在所有场景下没有质量损失。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情