研究团队于2026年10月26日向arXiv提交论文《StreamVibe: Proactive Video Agents for Evolving User Intent》,并于10月27日更新版本。论文关注一个不同于传统视频问答的问题:当用户没有明确发出指令时,视频助手能否根据持续观察判断用户意图,并在合适的时机主动提供帮助。论文原文
论文提出StreamVibe-Bench,包含约4100条评测样本和8.5万条训练样本,覆盖显式、隐式和动态三类用户意图。显式意图是用户直接提出的问题;隐式意图则可能表现为用户在网页操作中需要下一步提示;动态意图强调用户目标会随着环境和任务进展持续变化。研究团队据此训练StreamVibe-VL,使模型从连续视频观察中推断潜在意图,并动态调整交互方式。
该工作还提出StreamVibe-Harness,通过分层记忆保存用户意图和环境状态,使系统能够追踪最新目标,而不是只依据当前视频片段作出一次性回答。论文报告称,在其评测设置中,StreamVibe-VL相较现有基线在响应时机和回答质量上的综合表现提升10.7%;加入Harness后,持续主动交互性能进一步提升12.3%。这些数字是论文团队基于自建基准得出的结果,尚不能直接等同于真实产品环境中的提升。评测与方法说明
这项研究的价值在于把“AI什么时候应该开口”转化为可测量问题。对视频助手、计算机操作智能体和可穿戴设备而言,主动交互可能减少用户反复下达指令的负担,但也会带来误打断、过度推断用户意图、持续采集视频以及隐私边界等风险。论文属于arXiv预印本,仍需要独立数据集、长期真实场景测试和对误触发成本的进一步验证。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情