研究团队于2026年10月15日在arXiv提交预印本VisualTrust,关注视频中的屏幕文字如何影响多模态模型的视觉判断。论文指出,屏幕文字有时只是描述画面,有时却会引导观众对画面作出特定解释;如果文字与视频事实冲突,模型是否能优先相信视觉证据,不能仅靠传统视频问答准确率判断。论文原文
VisualTrust构建了一个反事实基准,共包含5063个案例、14类“文字主张—视频事实”组合。每个案例固定视频、问题和选项,只改变屏幕文字:不显示文字、显示准确文字,或显示改变一个事实的误导性文字。研究者将模型选择误导性文字所支持选项的情况视为“陷阱答案”。在测试的7个开放权重模型和4个闭源模型中,平均准确率从无文字条件下的90.1%下降到有误导性文字时的51.9%;原本答对的样本中,42.8%会转向陷阱答案,只有0.6%转为其他类型错误。
论文还提出无需训练的DEAR方法,将“判断视频证据应不应该被信任”和“读取屏幕文字”分开处理。在500个视频、3个闭源模型的测试中,DEAR将误导性文字条件下的准确率从47.2%至64.0%提升到81.8%至85.2%,并将陷阱答案选择率从34.4%至50.8%降至11.6%至15.0%,同时保持无文字条件下的准确率。上述数字均为论文作者报告的实验结果,当前材料仍是arXiv预印本,尚不能视为经过独立复核的行业结论。其实际价值在于提醒开发者:视频模型评测不仅要测“看得准不准”,还要单独测试模型能否抵抗画面内文字、字幕或标签对视觉证据的错误框定。
事件日期为论文提交日期2026年10月15日;研究结果尚未核实是否已正式发表或经过同行评审。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情