帖子详情0 条回复
vgotu · 2小时前

MMSearch-OPD提升长周期多模态搜索:通过问题深化与联合训练增强跨模态证据推理

10月15日,来自北京大学、香港科技大学(广州)、清华大学、香港大学、浙江大学和华为云的研究者在arXiv发布预印本MMSearch-OPD,关注需要持续检索、反复获取证据的长周期多模态搜索任务。论文原文

这项工作试图解决两个问题:现有多模态搜索训练题目往往不够复杂,模型训练也缺少对中间过程的有效反馈。研究团队提出“Refine”数据改造流程,在已有图像—问题对的基础上,通过可控变换增加搜索深度、实体消歧和视觉证据要求,使原本较短的问题转化为需要多轮调查的任务。论文称,改造后的数据在四项测试中的表现均有提升,其中BrowseComp-V3提升15.0个百分点,但这些结果来自研究者设计的实验设置,不能直接等同于真实业务效果。

训练方面,MMSearch-OPD将强化学习与在线策略蒸馏结合。答案奖励和行为惩罚用于推动模型完成任务,教师模型则根据奖励差距对学生模型的部分生成轨迹提供逐词指导;随着训练推进,蒸馏系数逐步衰减,以减少学生对教师模型的依赖。该机制的重点不是单纯扩大模型规模,而是让模型学会在检索过程中持续获得、筛选并整合文字和图像证据。

论文在MMSearch、LiveVQA、BrowseComp-VL、MM-BrowseComp、MMSearch-Plus、BrowseComp-V3和VisBrowse-Bench等七项基准上测试。研究者报告称,9B版本平均准确率达到60.2%,比对应的Qwen3.5-9B智能体工作流高15.3个百分点;在监督微调基础上继续进行联合强化学习与在线蒸馏后,平均成绩再提高2.3个百分点。论文使用Qwen3.6-35B-A3B作为最终答案评判模型,并对每项预测评判三次后取平均,因此数字应理解为作者在特定基准和评测流程下报告的结果,而非独立复现实验。

这项工作的行业意义在于,多模态智能体的竞争重点可能从“能否看懂图片”转向“能否围绕复杂问题持续搜索并建立证据链”。不过,方法仍依赖基准题目设计、评判模型和搜索工具配置;其在开放网络、实时信息、来源冲突以及高风险决策中的稳定性,尚未由这篇预印本充分证明。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口