2026年10月27日,来自马里兰大学巴尔的摩县分校和Comcast Applied AI的研究者在arXiv发布论文,提出一种无需针对具体任务微调参数的零样本多模态足球赛事识别框架。论文原文 该方法面向完整比赛视频,同时利用稀疏视觉故事板和对齐后的解说词,由通用多模态模型识别进球、射门、射偏、角球、开球和黄牌等事件,并给出事件类别、相对时间、置信度及证据说明。
研究者将完整比赛切分为带重叠的15秒片段,每段抽取15帧并排成按时间顺序排列的故事板,再结合Whisper Medium生成的解说转写。论文称,在3场人工标注比赛、共130个事件的测试中,最佳配置达到72.0%的F1@5s,并在跨数据集比较中超过使用SoccerNet训练的CALF和NetVLAD++方法。将多帧压缩为单张故事板后,推理成本较逐帧输入降低72%。
这项工作的实际价值在于,它把传统上依赖大量体育专项标注数据的赛事检测,转化为“视觉内容+解说文本+提示词”的组合式推理流程。研究还测试了人工提示词、识别与复核两阶段提示,以及GEPA和MIPROv2等自动提示优化方法,并增加了基于事件重要性、视觉强度和解说强度的集锦兴奋度评分,用于辅助高光片段排序。
不过,论文目前是arXiv预印本,结论仍需更大规模和更多联赛场景验证。实验只覆盖3场公开比赛,样本规模有限;广播中的回放、庆祝和 recap 片段也可能影响时间定位。论文报告的模型成绩、推理成本和跨数据集优势均属于该研究设置下的结果,不宜直接外推为所有体育视频或通用多模态模型的性能结论。对视频平台而言,值得继续观察的是:在不进行专项训练的条件下,多模态模型能否在更多赛事、不同解说语言和更复杂转播风格中保持稳定的时间定位能力。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情