arXiv于2026年10月21日收录论文《LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data》。论文聚焦大语言模型的长上下文推理训练，提出一种不依赖外部语料、人工标注或更强教师模型的方法。作者指出，长上下文强化学习通常需要长、丰富、困难且可验证的训练数据，而这类数据获取成本较高，也会随着模型能力提升而更难构造。论文原文
LongZero的核心流程分为两步：模型先自行生成问题、答案及支持证据，并将其组织为紧凑的结构化任务；随后再把证据扩展为长篇、多文档上下文。训练任务包括自生成的多跳推理任务和多轮检索任务，论文称其结合GRPO强化学习方法，使模型在没有外部数据的情况下学习处理长文本信息。
根据论文摘要，研究团队在两种大语言模型和五个长上下文推理基准上进行了评估，并将结果与基于外部语料合成数据的强化学习方法比较。作者报告称，LongZero能够迁移到真实任务，整体表现优于对比基线。不过，当前公开页面主要提供摘要和方法概述，未列出完整的模型配置、各项基准的具体分数及误差范围，因此“优于基线”的结论仍应以论文全文和后续复现实验为准。
这项工作的意义在于，它尝试把长上下文训练数据的生成环节更多交给模型自身，降低对人工整理语料、外部文档库和教师模型的依赖。潜在限制也很明显：自生成任务可能带来内容偏差、难度失真或推理模式自我强化，模型在合成任务上的进步是否能稳定转化为真实场景能力，需要更多独立测试验证。该信息目前属于arXiv预印本，尚不能等同于经过同行评审的最终研究结论。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
