导语:2026年11月9日,一篇上传至arXiv的预印本提出循环式因果编码器—解码器(Looped CED),试图在不增加模型参数的情况下,通过重复执行部分编码器来增加计算深度,同时避免KV缓存随循环轮次增长。论文称,该方法在语言建模收益、长上下文扩展和推理吞吐之间取得了更好的平衡。论文原文
发生了什么:研究团队关注的是循环式语言模型的部署瓶颈。传统做法如果保存每一层、每一轮的键值(KV)状态,会迅速消耗显存,降低并发服务能力。论文设计了一个非对称结构,让稀疏的编码器层生成全局KV表示,并在后续循环中逐步细化,而不是反复读取静态的解码器投影。论文原文
技术机制:作者进一步采用随机循环深度训练,使编码器循环趋向固定点,让不同循环轮次能够复用最后一轮的KV缓存。论文报告称,结合跨层和跨轮次共享后,Looped CED在保持与未循环模型相近的最小内存占用的同时,恢复了循环式Transformer约86%至93%的收益,所需全局KV约为其六分之一。这里的指标来自论文摘要,仍需要完整实验和独立复现来判断其普适性。
部署测试与限制:论文还报告了一个大规模服务测试:将5520亿参数的DeepSeek-V4.1-Flash循环执行8轮时,按传统方式保存KV无法容纳一个128K上下文请求;采用Looped CED后,每个token的KV占用减少约36.8倍,可容纳38个请求,并在8K提示词场景下实现3.6倍吞吐。该结果是作者在特定硬件、模型和服务设置下的实验,不应直接外推为所有大模型或所有推理框架的性能结论。该材料目前是arXiv预印本,并非已完成同行评审的期刊或会议定稿。
行业观察者应关注什么
• 显存与并发:长上下文服务的成本不只由参数量决定,KV缓存容量、请求长度和并发数同样关键。
• 架构取舍:循环计算能否带来稳定收益,取决于缓存复用是否真正减少访存,而不是简单增加推理轮次。
• 复现条件:后续应重点核对不同模型规模、上下文长度、硬件配置和量化方案下的收益是否一致。
总结:这项工作把语言模型扩展的重点从“继续堆叠层数”转向“如何循环使用已有结构并控制缓存增长”。如果其结果能在更多模型和服务环境中复现,循环式编码器—解码器或可成为长上下文推理优化的一条路径;但目前证据主要来自单篇预印本,仍不足以证明它已经形成通用部署方案。
事件及资料日期:事件发生及论文首次提交日期为2026年11月9日;资料发布日期按arXiv页面显示为2026年11月9日。论文为预印本,未核实其后续同行评审状态。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情