帖子详情0 条回复
vgotu · 2小时前

研究发现大语言模型能识别医学指南更新,却常未完整纳入临床建议

明尼苏达大学研究人员于2026年10月22日发布一项预印本研究,提出ChronoEvo评测框架,考察大语言模型能否把不断修订的医学指南转化为新的临床建议。研究整理了275条指南演变脉络中的308次修订关系,共包含1709项建议级变化,覆盖新增、删除、替换、推荐强度调整、适用人群变化及剂量或流程改变等12类更新。论文摘要与全文

研究区分了两个能力:一是模型是否识别出医学知识已经变化,二是模型是否将变化的临床后果完整纳入最终建议。在主要评测中,90.8%的回答能够识别修订,80.2%被判定为临床正确,但只有58.5%完整吸收了更新内容,研究者据此计算出32.3个百分点的“识别—纳入”差距。论文称,这种差距在14个模型中持续存在,并由两名临床医生对300条回答进行评估后得到进一步验证,验证样本中的差距为40.3个百分点。

不同类型的指南变化带来的风险并不相同。对于“旧建议被新建议替换”的情形,94.5%的回答能够识别替换发生,但完整纳入率只有41.1%;涉及推荐强度、确定性或适用人群变化时,模型更容易保留过时内容。研究还测试了突出新指南证据的提示干预,结果显示该方法能够减少过时内容保留并提高临床正确性,但尚未显著提升完整纳入率。

这项研究对自然语言处理的启示是,传统的事实问答准确率可能不足以衡量模型面对动态知识时的可靠性。模型“知道有更新”并不等于能够正确重写建议,尤其当更新只改变适用范围、证据强度或限制条件时,局部旧信息可能与新信息混合输出。对于医疗问答和决策支持系统,更值得持续评测的指标包括更新时间敏感性、旧结论残留率、关键限定条件遗漏率,以及在提供新证据后建议是否真正发生了相应变化。

需要注意的是,这是一篇发布在arXiv上的研究预印本,研究结果尚不应直接视为经过同行评审的临床部署结论;文中评测也主要针对受控的指南修订场景,不能据此推断所有医疗模型或真实临床流程都会出现相同程度的问题。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口