一篇于2026年10月16日提交至arXiv计算机视觉领域的预印本,提出Video Geometry Corrector(VGC),针对视频生成模型在移动镜头下容易出现的结构扭曲、视差不一致、场景布局漂移和连续运镜变成跳切等问题,尝试通过生成后处理进行修复。论文原文
论文作者认为,问题部分来自训练数据中的监督缺口。网络视频里更常见的是固定或弱移动摄像机拍摄的动态物体,模型因此较少学到由视点变化带来的外观变化,容易把摄像机运动误解为物体或场景本身的形变。VGC没有修改原始视频生成器,而是将几何校正独立为一个视频到视频任务,以便适配不同模型家族。
方法的关键是构造配对训练数据。作者从带有多样摄像机运动和姿态标注的真实视频出发,将原视频作为几何一致的目标,再利用预训练图像到视频修补模型生成具有几何失真的对应输入,形成名为VG-Pairs的数据。为避免大幅度、非线性运镜被简单压缩为错误轨迹,流程会根据旋转和位移变化选择自适应关键帧,把视频拆成较短片段后再拼接。这样得到的输入与目标保持相近语义和运镜,同时保留结构扭曲、视差错误和深度顺序异常等缺陷。
VGC本身建立在视频扩散骨干上,并把光流作为辅助条件。作者的解释是,摄像机运动通常会在画面中形成较为一致的全局运动场,而物体运动更偏局部,光流可以帮助模型区分需要修复的视角变化与需要保留的真实动态。与直接从头生成视频相比,这类后处理路线理论上更有利于保留原有场景内容和物体外观,也降低了为每个新一代生成器重新加入三维监督的必要性。
论文称,VGC在姿态条件和提示词驱动的多个基准上改善了几何一致性,并具备跨生成器迁移能力;扩大模型规模后,还可处理包含人物和物体运动的动态场景。不过,这些结果目前来自作者提交的预印本,摘要未提供足够的统一量化指标来判断相对不同基线的实际收益,配对数据由合成过程构造也可能带来与真实生成错误不完全一致的问题。因此,这项工作更适合被看作一种生成后几何修复范式,而不是已经证明能够普遍解决视频世界建模问题的成熟方案。
对行业而言,值得关注的变化是:视频生成质量的竞争不一定只发生在基础生成器内部,也可能转向独立的校正器、评测器和数据构造管线。若后处理模型能够在不破坏内容和运动的情况下稳定修复空间结构,视频生成产品或许可以采用“生成—检测—校正”的模块化流程;但实际部署仍需验证额外推理成本、长视频一致性、快速镜头和复杂动态场景下的失效边界。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情