10月21日，Ayana Niwa等研究者在arXiv提交论文《Rethinking the Evaluation of LLM Fact-Checkers》，提出日文事实核查基准JSFactCheckBench。该基准收录了1913条来自大语言模型回答的声明，内容围绕日本社交媒体上流传的误导性信息，并为每条声明标注参考时间下的事实性、与问题的相关重要性，同时规定可使用的预选网页证据。论文原文
摘要显示，研究比较了6个大语言模型，发现模型对直接回答问题的声明，核验准确率反而低于补充性声明；当模型需要在更长或多个来源中定位相关内容时，得分会进一步下降。对4个开放模型而言，把问题和完整回答的上下文一并提供，也会造成核验表现下降。这说明单一总分可能掩盖模型在不同核查条件下的差异。
这项工作的重点不只是提出一个日文数据集，而是强调事实核查基准应明确三个条件：声明回答的具体问题、判定声明时采用的上下文，以及哪些来源可作为证据。若这些条件没有被记录，不同模型之间的分数就难以解释，也可能无法反映真实使用中的检索和判断难度。
需要注意的是，该材料目前是arXiv预印本，页面未显示同行评审或正式期刊发表信息；上述结论主要依据论文摘要中的作者报告，仍需结合全文、代码和独立复现实验进一步核验。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
