2026年10月15日，研究团队在arXiv提交论文《DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents》，提出一个面向对话智能体的新评测方向。论文关注的不是回答是否包含事实错误，而是模型是否在多轮交流中偏离了原本应遵循的对话流程：单轮话语可能流畅、合理且事实可信，但整体行动顺序、任务步骤或交互目标已经发生偏移。论文原文及摘要
摘要介绍，DialFork通过在受控的对话轮次分叉原始合规对话，并注入四类程序性幻觉，构造了36278段对话，覆盖24项任务和12个领域；数据构造由30名人工标注者进行验证。研究将评测拆分为三个层次：判断一组对话相对于合规样本偏离了多少，用于监测已部署的对话代理；判断单段对话的程序偏离程度，用于检索和筛查；以及识别对话首次偏离轨道的轮次，为实时防护提供依据。
论文还提出FlowKL和FlowScore两项关注对话流程的指标，试图比较对话是如何展开的，而不仅是比较文本内容是否相似。摘要称，在对话级评测中，FlowScore在七个编码器上显著优于基线，说明语义相似并不能替代程序相似。不过，这些结果目前来自论文作者公布的实验，尚需更多任务、语言和真实部署场景验证。尤其是“程序性幻觉”的分类边界、人工构造数据与自然发生错误之间的差异，以及指标对不同对话策略的稳定性，都可能影响实际效果。
这条信息对自然语言处理和智能体评测的意义在于：对话系统的质量标准可能需要从“答得对不对”扩展到“是否按正确的过程完成任务”。对于客服、流程审批、问诊辅助和多步骤软件操作等场景，仅检查事实性或句子级连贯性可能不足，还需要记录任务状态、关键转折和首次偏航位置。需要注意的是，目前可核实资料是一篇2026年10月15日提交的arXiv预印本，并不等同于已经完成同行评审的定论。
参考来源：
- DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents 2026-10-15
由 AI 整理，仅供参考；请以原始来源为准。
