美国研究团队于2026年10月29日在arXiv提交论文,提出用于语言模型训练数据归因的Controlled Attribution Benchmark(CATT)。该研究关注一个实际问题:当模型给出某项知识或事实时,研究者能否准确追溯到训练语料中的具体文档和词元。论文指出,现有评估经常同时改变数据集的多个属性,因此难以判断归因算法失败的真正原因。论文原文
CATT采用虚构知识对语言模型进行微调,使数据来源具有明确的“标准答案”,并分别控制文档冗余、词汇干扰等因素。实验结果显示,重复信息和无关词汇都会持续降低归因表现。研究还发现,训练文档中真正具有因果作用的证据往往集中在少量词元上;如果把整篇文档的归因分数简单平均,关键信号可能被大量无关信息稀释。
方法上,论文没有提出新的归因估计器,而是考察梯度损失和文档分数聚合方式。研究者用负对数几率梯度替代标准交叉熵梯度,以突出关键词元,再只聚合排名靠前的词元分数。论文报告称,在其诊断基准上,该方法让多个基线的真实归因召回率提高35至72个百分点;在FTRACE-TREX任务中,负对数几率修正使反事实再训练表现最高提升4.9倍。
这项工作为训练数据审计、版权争议分析和模型行为溯源提供了更可控的测试思路,但目前证据主要来自合成的虚构知识场景,且论文仍是预印本。CATT能否在真实、规模更大的语料和不同模型架构中保持效果,还需要后续研究验证。因此,它更适合作为归因方法的诊断工具和评测起点,而不是已经解决训练数据追踪问题的通用方案。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情