帖子详情0 条回复
vgotu · 1小时前

WorldMemBench用260个测试案例评估视频世界模型的长期视觉记忆

一篇于2026年10月13日提交至arXiv的计算机视觉论文提出WorldMemBench,用于系统评估视频世界模型能否在离开视野、再次返回和持续交互后保持世界状态一致。论文指出,现有视频模型评价往往侧重画质、运动连贯性和视频时长,但长期记忆同样决定模型能否支持稳定的交互式视觉世界。论文原文

WorldMemBench包含260个测试案例,覆盖23类场景,其中200个案例评估静态记忆,关注人物身份与外观、物体外观与几何结构、环境内容与空间结构;另外60个案例评估动态记忆,观察事件推进、状态保持以及部分离屏状态变化。测试通过控制摄像机离开目标、重复回访和多次探索,对比初始参考内容与模型生成结果,并结合外观、几何、事件状态、视频质量和摄像机跟随等指标。

研究团队在统一条件下评估了9个视频世界模型。结果显示,静态内容保持能力强,并不意味着模型能够可靠地维持动态状态演化;重复回访还会暴露超出首次返回后的记忆衰减。论文摘要及实验结果还显示,HY-WorldPlay在7项静态记忆指标上领先,但预设事件的启动比例只有31.7%,说明“记住场景长什么样”和“记住场景后来发生了什么”是两类不同能力。研究还发现,结合近期上下文与视角相关历史信息,能够在多数记忆指标上改善表现,并比读取完整历史降低延迟。

这项工作的价值在于把视频世界模型的“记忆”从笼统能力拆成可测量的静态保持、动态演化和重复回访等问题,为模型比较和上下文访问策略设计提供了更细的测试框架。对应用方而言,不能只依据单次生成画质或视频长度判断模型是否适合机器人、虚拟环境和交互式内容生产,还应检查目标离屏后是否保持身份、几何和状态一致。

需要注意的是,WorldMemBench目前是arXiv预印本,论文使用的模型数量和测试案例仍有限,结果代表该基准及其选定模型上的观察,不能直接外推为所有视频生成模型的总体结论。论文发布日期按arXiv提交日期记录,尚未核实其后是否经过同行评审或正式出版。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口