2026年10月21日，Junjie Chen在arXiv更新了一篇关于大型语言模型智能体评测可靠性的研究论文。论文的核心观点是：智能体评测基准本身也是软件，测试套件、输入生成器和结果判定程序都可能出现缺陷，因此模型分数并不必然等于真实能力。论文原文
研究者提出了包含5项状态完整性不变量和3类已知答案控制的审计方法，并在两个任务域及一个合成任务域中注入7类评测器缺陷。在57组可分离的变体与目标组合中，该方法检测出54组问题，修复后的评测器没有产生误报。论文原文
在一个广泛使用的智能体基准上，研究者发现奖励函数在生成数据库真实状态哈希时重置了数据库，却没有恢复原状态，导致后续评分读取了参考解状态。原始记录显示，4320个测试回合中有4194个数据库通过；重新回放后，通过数降至2883，报告成功率也从94.3%降至65.5%。校正并非对所有模型进行统一扣分，不同智能体的成绩下降约24至34个百分点，原本的强弱排序也发生变化。论文原文
这项工作的实际提醒是，智能体研发不能只展示最终成功率，还应检查奖励函数是否改变环境状态、测试结束后数据库是否完整恢复、评测结果能否通过独立回放复现，以及不同基准实现之间是否一致。否则，所谓模型进步可能部分来自测量装置的偏差，而不是智能体推理或执行能力的提升。
需要注意的是，这些结果目前来自arXiv论文及其修订版本，页面标注该稿件已提交至《Empirical Software Engineering》，期刊发表状态未在原页面核实。作者还表示，相关审计方法没有直接迁移到第二个独立实现的基准，因此不能据此断言所有智能体评测都存在同等程度的问题。论文中94.3%降至65.5%的数字只对应其检查的特定基准和配置，不宜外推为整个行业的普遍结论。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
