大模型会“自信地说错话”，但所谓 AI 幻觉并不是一个可以靠单一分数完全识别的问题。对于不同应用，错误可能表现为捏造事实、引用不存在的来源、与知识库内容冲突、遗漏关键条件，或把无法确认的信息写成确定结论。因此，选择幻觉检测与事实一致性检查工具时，不能只比较产品宣传中的“准确率”，而要先明确检查对象、证据来源和上线阶段。
先分清：事实正确不等于有依据
事实一致性检查通常包含两个层面。第一是基于上下文的一致性，即回答中的每项主张能否从给定文档、检索结果或数据库记录中得到支持；第二是面向外部世界的事实正确性，即回答是否符合可信且及时的外部资料。
两者不能混为一谈。例如，模型回答“巴黎是法国首都”，这一事实本身正确，但如果提供给模型的材料没有提到巴黎，那么在严格的 RAG 评估中，它仍可能被判定为“缺乏依据”。Azure AI Evaluation 对 groundedness 的定义也强调：即使回答在现实中正确，只要无法由给定上下文验证，也会被视为未充分扎根。可参考 Azure GroundednessEvaluator 文档。
选型前先确定使用场景
一、开发阶段的离线评测
如果目标是比较模型、提示词、检索策略或知识库版本，应优先选择支持批量数据集、指标组合、实验追踪和回归测试的工具。测试集至少应包含普通问题、无答案问题、冲突资料、时效性问题、数字与日期问题，以及容易诱导模型猜测的边界案例。
Ragas 更适合围绕 RAG 链路进行系统评估，提供 faithfulness、回答相关性、上下文精确率、上下文召回率、事实正确性等指标，并支持自定义指标。它的价值不只是判断“答错没有”，还可以帮助区分问题来自检索器还是生成器。具体指标可查看 Ragas 指标说明。
DeepEval 的使用方式更接近面向大模型应用的单元测试，支持幻觉、忠实度、回答相关性等指标，也便于设置通过阈值并接入自动化测试流程。其幻觉指标会将输出与指定上下文进行比较；如果评估的是 RAG 系统，官方建议优先使用 faithfulness 指标。可参考 DeepEval 幻觉指标文档。
二、生产环境的实时拦截
在线检测更关注延迟、吞吐量、失败处理和可解释性。客服、搜索问答等高并发场景通常需要快速返回“通过或拦截”；医疗、金融、法务等高风险场景则更需要指出哪一句缺乏依据，并将可疑内容转交人工复核。
Azure AI Content Safety 的 groundedness detection 提供偏重速度的非推理模式，以及能够解释未扎根片段的推理模式，适合分别用于在线检查和调试分析。其判断基础仍是用户提供的来源材料，因此知识库本身必须可靠、完整并保持更新。详见 官方说明。
三、跨模型和企业平台评估
如果团队已经使用特定云平台，可优先考虑平台自带评估服务，以减少身份认证、日志、权限和数据流转方面的集成成本。例如，Google 的生成式 AI 评估服务支持自适应评分规则、固定规则、ROUGE 或 BLEU 等计算型指标，以及自定义 Python 评估逻辑，适合模型迁移、提示词修改和多版本对比。可参考 Google Cloud 评估服务概览。
重点比较六项能力
- 证据粒度：工具是只给整体分数，还是能定位到具体句子、主张和对应证据？面向审核人员时，主张级结果更实用。
- 指标覆盖：除 groundedness 或 faithfulness 外，是否还能检查答案相关性、检索召回、引用准确性、数字一致性和拒答合理性？
- 评判方式：规则匹配成本低且稳定，但难以处理同义表达；LLM 评判更灵活，却可能受到评判模型、提示词和随机性的影响。较稳妥的方案是规则、模型评判与人工抽检并用。
- 可复现性：能否固定评判模型与配置、保存原始输入输出、记录指标版本，并对同一测试集重复运行？不能复现的评分不适合作为发布门槛。
- 部署与合规：需要确认数据是否发送到第三方、能否私有部署、日志保留多久，以及是否支持敏感信息脱敏和区域化处理。
- 总体成本：除了订阅费用，还要计算评判模型调用、检索、存储、在线延迟、人工复核和维护测试集的成本。
不要只看一个“幻觉率”
所谓幻觉率高度依赖测试集、评分规则、阈值和证据范围。不同工具给出的数字通常不能直接横向比较。LLM-as-a-judge 也不是绝对权威：评判模型可能偏好更长或更流畅的回答，也可能错误理解专业资料。正式选型时，应准备一批由领域人员标注的样本，用它检验工具的误报、漏报和稳定性，而不是只接受厂商演示结果。
推荐采用三层检查：确定性规则负责数字、日期、链接和字段约束；语义评估器负责主张与证据的一致性；人工审核负责高风险、争议性和证据冲突案例。
一套可落地的选型流程
- 先定义不可接受的错误，例如虚构政策条款、错误引用产品参数或擅自给出无依据结论。
- 建立规模适中的黄金测试集，并为每条样本保存问题、参考资料、期望答案和风险等级。
- 用相同数据对候选工具进行盲测，重点观察误报、漏报、解释质量、速度和单次评估成本。
- 分别设置普通场景与高风险场景的阈值，不要用一个阈值覆盖所有业务。
- 把离线评测接入持续集成，在模型、提示词、检索参数或知识库更新后自动回归。
- 上线后持续抽样人工复核，并把真实失败案例补充进测试集，形成迭代闭环。
总结
选择 AI 幻觉检测与事实一致性检查工具，核心不是寻找一个“万能裁判”，而是建立可验证、可复现、可追踪的质量体系。RAG 开发团队可重点考察 Ragas、DeepEval 一类开源评估框架；已有云平台和企业治理需求的团队，可评估平台原生服务；高风险业务还应增加规则校验与人工审核。最终采用哪套工具，应由真实业务测试集、可接受风险、部署要求和总体成本共同决定。
