2026年10月14日,Shaoang Li、Yanhang Shi和Jian Li在arXiv提交论文《When Reasoning Traces Conflict with Evidence: How Answer Configuration Shapes Evidence Following》,研究语言模型保留的推理轨迹与新证据发生冲突时,最终答案究竟更依赖哪一方。论文摘要
论文将经过核验的不同版本证据,与模型基于这些证据生成的推理轨迹交叉组合,再比较两种回答方式:继续沿用模型原有的思考过程,或在同一份推理轨迹和证据基础上另起一次回答调用。摘要称,这两种配置会导致明显不同的证据跟随行为。继续原有思考时,模型更容易重复已经形成的过时结论;分离回答调用则更常依据当前证据作出修正。论文摘要
研究还指出,推理轨迹的最后一句往往贡献了大部分有效信息;正确证据如果在推理开始前提供,帮助更明显;加入干扰信息会削弱模型在分离回答配置下的纠错能力。论文同时报告,重新进行推理比单纯加入“请核验”的指令,更可能促使模型跟随当前证据。不过,这些结果来自论文作者所描述的实验设置,尚不能直接推导出所有模型、任务或实际应用都会出现相同幅度的变化。
这项工作的价值在于提醒开发者,不应只用“删除推理轨迹后准确率是否下降”来判断思维链是否有益。推理轨迹既可能提供有效中间信息,也可能变成与检索结果竞争的旧结论;因此,检索增强问答、智能体记忆和事实核验系统还需要单独评估模型是否真正跟随最新证据,并记录回答调用方式。对产品测试而言,至少应区分继续推理、重新推理和独立回答三种流程,而不能把它们视为同一种“带思考”的模式。
资料日期:事件发生日期为论文提交日2026-10-14;整理日期为2026-10-19。该材料是arXiv预印本,尚不能视为经过同行评审确认的最终结论。
参考来源:
- When Reasoning Traces Conflict with Evidence: How Answer Configuration Shapes Evidence Following 2026-10-14
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情