10月16日，吉林大学等机构研究者在arXiv提交论文PremiseSQL，关注自然语言转SQL系统是否会在用户问题本身有误时，仍然生成看似可执行、实际缺乏依据的SQL。论文原文
论文指出，现有NL2SQL评测主要关注SQL是否生成正确，却经常默认用户问题有效、完整且能够回答。为测试模型识别问题前提的能力，研究者构建了PremiseSQL基准，包含1800条经过改造的错误查询及其1800条原始查询，覆盖表达含糊、前提矛盾、缺失必要条件、超出SQL或数据库能力等四类问题。评测同时考察模型能否解释错误、在不可靠请求上拒答，以及面对有效查询时保持正常生成。
作者在基础提示、隐式提醒和明确要求批判前提三种设置下测试了16个前沿大语言模型。摘要显示，模型在默认提示下明显倾向于相信用户前提，很少主动指出查询存在问题；加强批判性提示能够提高对错误查询的识别和拒答，但也会增加把有效查询误判为无效的情况，并抑制原本应当生成的SQL。研究还将错误查询与未修改的原始查询配对，以区分真正基于数据库证据的判断和受提示语诱导的拒答。
这项工作把“知道什么时候不应回答”单独从SQL生成准确率中分离出来，对企业报表、数据分析和自然语言数据库接口具有参考价值。不过，论文目前是arXiv预印本，基准中的部分错误样本由模型辅助构造，并经过自动评估和人工复核；其结论仍需更多数据库、用户问题类型和真实业务场景验证，不能直接视为所有NL2SQL系统的总体表现。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
