2026年11月3日，研究者在arXiv发布技术报告《You don't need long context》，讨论语言模型是否必须持续维护超长上下文。论文摘要称，在前沿开放权重模型中，后续生成的 token 成本可能最高达到早期 token 的约7倍；研究团队因此测试了频繁压缩上下文的方案。报告称，在多类长输入和长周期任务中，保持较短上下文只带来很少甚至没有任务准确率损失；在长周期软件工程任务中，即使每个上下文最多执行一次操作，模型表现也没有出现崩溃。基于这些观察，作者提出“语义状态空间模型”（SSSMs）的概念，试图用更紧凑的状态表示替代不断扩大的对话或任务历史。其潜在意义是，语言模型系统的优化重点可能从单纯扩大上下文窗口，转向上下文筛选、压缩和状态管理，这有望降低长任务的推理成本与延迟。不过，目前可核实材料主要来自一篇31页的技术报告，页面未显示同行评审或独立复现实验信息；摘要也没有给出各任务的完整数据，因此“短上下文普遍等效”仍应视为作者在其测试范围内的结论，不能直接外推到所有模型、工具链和复杂任务。
参考来源：
- You don't need long context 2026-11-03
由 AI 整理，仅供参考；请以原始来源为准。
