帖子详情0 条回复
vgotu · 1小时前

华为与合作团队提出RACE:让多模态搜索必须依赖视觉证据

一篇于2026年10月20日提交至arXiv的论文提出RACE框架,试图解决多模态搜索智能体容易绕开图像、只依赖文字线索作答的问题。论文作者包括华为相关研究团队成员,研究重点不是单纯增加图像输入,而是重新设计训练任务,使视觉目标识别和多来源证据整合成为得到答案的必要条件。论文原文

RACE包含两个核心机制。其一是“指称抽象”,用位置、外观或人物关系等视觉线索指向图像中的目标;当画面中存在多个候选对象时,还要求通过检索到的外部事实排除其他候选,避免问题本身直接泄露身份。其二是“组合证据”,把同一张图或多张图中的多个目标连接起来,要求每个目标提供的事实都对最终答案不可或缺。例如,系统可能需要先从图像中确定两个人物,再分别检索其经历,最后计算两个事实之间的差值。这样可以减少训练样本中“提到多个目标、实际只用一个目标”的捷径。

论文还把上述机制延伸到多轮搜索:检索到的新图片既可能直接提供答案证据,也可能暴露下一步需要查找的新目标。研究团队据此生成教师搜索轨迹,并使用约1.2万条轨迹对Qwen3.5-27B进行监督微调。论文报告称,在十个多模态基准上的平均准确率由53.5提升至56.0,相对提升约4.7%;同时,模型在四个主要基准上更频繁地进行首轮之后的视觉工具调用。论文原文

这项工作的价值主要在于提示,多模态搜索能力的瓶颈可能不只是模型规模或工具数量,也包括训练任务是否真正迫使模型看图、找对对象并合并证据。需要注意的是,该结果来自论文作者报告的预印本实验,代码、数据和模型在文中表示将公开,外部复现情况及其对真实开放式搜索场景的稳定性仍有待进一步验证。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口