中国科学技术大学、合肥工业大学和四川大学研究团队在一篇于2026年10月26日提交的预印本中提出UniPRO，用于系统比较视觉、音频和语音信息在多模态视频检索中的融合顺序。论文原文
研究围绕文本到视频检索展开，在保持编码器、训练组件和设置一致的条件下，对比了堆叠式融合与逐模态融合。作者报告称，在其测试中，逐一引入模态的方案整体优于直接堆叠；即使采用相同的模态，具体融合顺序也会影响检索效果。例如，在MSR-VTT-9k测试中，先融合音频再融合语音的文本检索方案，R@1为53.9，高于相反顺序的53.2。
论文进一步分析了两个可能影响顺序选择的因素：不同模态的可用性和学习难度，以及融合过程对查询相关信息的保留程度。研究者通过完整模态控制实验指出，输入缺失本身不能完全解释顺序敏感性；当训练和测试中的语音缺失比例变化时，音频检索的优选顺序也会发生反转。团队据此为图像查询预测了一种视觉信息最后再次参与融合的路径，并在MSR-VTT-9k完整测试集上报告97.9的R@1，为所评估顺序中的最高值。
这项工作的直接意义不在于证明某一种固定架构普遍最优，而是提示多模态系统的融合路径可能需要根据查询类型、数据缺失情况和任务目标动态设计。对于视频搜索、短视频理解和跨模态推荐，模型评测不应只比较是否加入更多模态，还应记录融合顺序、模态可用率以及不同查询方向下的表现。不过，当前结果来自预印本和公开基准测试，尚未说明其在真实平台噪声、长视频或大规模在线检索中的稳定性，相关结论仍需进一步复现和验证。
观察要点：一是关注多模态模型是否将融合顺序作为可调策略，而非固定超参数；二是同时报告文本、音频和图像查询下的结果，避免单一查询模态掩盖差异；三是将模态缺失率、语音转写质量和检索延迟纳入评估；四是区分公开基准上的提升与实际业务中的召回、排序和成本收益。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
