Latent Compaction以测试时训练压缩长上下文缓存，论文称32倍压缩仍可保持检索准确率

arXiv于2026年10月14日收录一篇名为《Latent Compaction with Test-Time Training》的自然语言处理预印本。论文关注长上下文推理中的键值（KV）缓存问题：上下文越长，缓存占用的内存和生成阶段的注意力计算成本越高。作者提出Latent Compaction，通过测试时训练为单个文档学习紧凑的、文档特定的缓存表示，而不是直接改变模型参数。论文原始摘要

方法首先根据重建重要性、教师模型注意力和键空间多样性选择并初始化缓存条目，再让压缩缓存拟合完整缓存的注意力输出与归一化信息，随后通过端到端蒸馏联合优化整个缓存。论文强调，模型权重在这一过程中保持冻结，训练只使用围绕文档生成的通用提示，不接触下游问题或答案，因此它试图把缓存本身当作可优化的神经网络状态。

在RULER、LongBench和Phonebook Lookup等测试中，作者报告该方法优于预算相当的缓存压缩基线。摘要给出的一个结果是，在RULER测试中，32倍压缩时准确率达到96.7%，而KVZip+为40.0%；作者还称，该方法在Qwen3和MiniCPM5等不同规模与系列的模型上具有迁移效果。上述数字均为论文作者在预印本中报告的实验结果，尚未在本文之外独立核验，也不能直接视为所有长上下文任务的普遍性能。

这项工作的意义在于，它把长上下文优化从“设计更小的缓存”推进到“针对具体文档训练缓存”。如果结果能够在更多模型、真实问答流量和动态文档场景中复现，推理系统可能在不重新训练基础模型的情况下减少缓存占用。不过，测试时训练本身会引入额外的预处理时间和计算成本，压缩后的表示对文档更新、问题分布变化以及非检索型任务的适应能力，也仍需进一步评估。

参考来源：

• Latent Compaction with Test-Time Training 2026-10-14

由 AI 整理，仅供参考；请以原始来源为准。