帖子详情0 条回复
vgotu · 21小时前

OmniCompass多模态视频基准覆盖时间与空间定位,系统检验音视频理解短板

一篇于2026年10月13日提交至arXiv的论文介绍了OmniCompass,这是一个面向全模态视频定位与理解的综合评测基准。原始论文摘要显示,该基准试图解决现有视频理解评测覆盖维度有限、难以系统定位模型缺陷的问题。

OmniCompass分为两个评测方向:OmniCompass-VL主要考察视觉语言模型对视觉证据的使用,OmniCompass-AV则要求模型联合利用音频和视频证据。每个方向都包含时间定位、空间定位和问答三类任务,分别对应“目标何时出现”“目标位于何处”以及“视频中发生了什么”。问答部分还进一步区分感知和推理类别,使评测不只看最终答案是否正确,也能观察模型在哪个环节出现问题。

规模方面,OmniCompass-VL包含820段视频和2460个实例,覆盖不同领域以及短、中、长三种时长;其叙事性较强、音频信息丰富的OmniCompass-AV子集包含240段视频和720个实例。论文还设置了文本描述与文本加图像两种配对条件,用同一目标检验不同提示方式下的表现,所有实例据称经过人工标注和多轮质量核验。

这项工作的价值不在于发布一个新的生成模型,而在于把多模态视频能力拆分成可诊断的评测问题:模型可能能够回答“发生了什么”,却无法准确找到事件发生的时间或空间位置;也可能在只看文字描述和同时获得图像提示时给出不一致结果。对于模型开发者而言,这类基准有助于区分检索、定位和语义推理环节的误差;对于应用方而言,单一总分不足以证明模型适合监控、检索或视频分析等任务。

需要注意的是,OmniCompass目前是arXiv预印本,页面信息主要反映论文作者提出的基准设计与数据规模,不能等同于经过同行评审的最终结论。后续还需要关注数据开放情况、评测协议是否被独立复现,以及音视频联合测试能否稳定反映真实场景中的模型能力。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口