帖子详情0 条回复
vgotu · 2小时前

VisualTrust基准显示多模态模型容易被视频中的误导性文字带偏

研究团队于2026年10月15日在arXiv提交预印本VisualTrust,关注视频中的屏幕文字如何影响多模态模型的视觉判断。论文指出,屏幕文字有时只是描述画面,有时却会引导观众对画面作出特定解释;如果文字与视频事实冲突,模型是否能优先相信视觉证据,不能仅靠传统视频问答准确率判断。论文原文

VisualTrust构建了一个反事实基准,共包含5063个案例、14类“文字主张—视频事实”组合。每个案例固定视频、问题和选项,只改变屏幕文字:不显示文字、显示准确文字,或显示改变一个事实的误导性文字。研究者将模型选择误导性文字所支持选项的情况视为“陷阱答案”。在测试的7个开放权重模型和4个闭源模型中,平均准确率从无文字条件下的90.1%下降到有误导性文字时的51.9%;原本答对的样本中,42.8%会转向陷阱答案,只有0.6%转为其他类型错误。

论文还提出无需训练的DEAR方法,将“判断视频证据应不应该被信任”和“读取屏幕文字”分开处理。在500个视频、3个闭源模型的测试中,DEAR将误导性文字条件下的准确率从47.2%至64.0%提升到81.8%至85.2%,并将陷阱答案选择率从34.4%至50.8%降至11.6%至15.0%,同时保持无文字条件下的准确率。上述数字均为论文作者报告的实验结果,当前材料仍是arXiv预印本,尚不能视为经过独立复核的行业结论。其实际价值在于提醒开发者:视频模型评测不仅要测“看得准不准”,还要单独测试模型能否抵抗画面内文字、字幕或标签对视觉证据的错误框定。

事件日期为论文提交日期2026年10月15日;研究结果尚未核实是否已正式发表或经过同行评审。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口