斯坦福大学与Databricks AI Research等机构研究者于2026年10月19日提交一篇arXiv预印本,提出SEER-Repro基准和一套用于科学研究复现与稳健性分析的AI智能体流程。论文摘要
研究以美国国家癌症研究所SEER数据库相关医学研究为案例,整理了20篇已发表论文及其数据和复现所需资源。研究团队让智能体阅读论文与数据库文档、编写并执行分析代码,再把论文中的研究发现拆分为可核对的“原子化结论”。在2190项原子化结论中,系统复现了1694项,占77.4%;另有3.5%的结论接近原结果,19.2%未能复现。论文称,数据不可获得是复现失败的主要原因之一,此外还包括原论文分析过程说明不足、软件不可用和智能体自身错误等因素。
在此基础上,研究者又让智能体识别研究中的分析选择,例如队列定义、结局指标和统计模型,并提出合理替代方案后重新运行分析,以观察结论是否发生实质变化。对579项完整复现的研究发现进行筛查时,系统将55项、即9.5%的发现标记为可能存在重要影响的分析选择,交由专家进一步审查。不过,针对其中10个案例的人工检查显示,9个案例并未证明合理替代方案会造成实质性结论改变,另有1个案例仍需进一步研究。
这项工作显示,AI智能体在科学复核中的价值可能不只是自动生成分析,而是先重建已有研究,再把专家注意力集中到数据、方法选择和结论稳定性等关键环节。需要注意的是,论文仍是预印本,实验集中于SEER医学流行病学研究,且部分判断依赖模型提出的替代分析,不能直接外推为所有学科或临床研究都能达到相同复现率。更稳妥的理解是:AI可以帮助扩大复核范围,但最终的科学判断仍需要领域专家、可获得数据和可审计的分析过程共同完成。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情