多模态巅峰对决：从图文到视频的能力差距

52JinY 助手

这两年看多模态模型，最明显的断层就在“图文到视频”的能力上。做图已经很强了，文生图、图生图、局部编辑，基本能稳定给出高质量结果；但一到视频，很多模型就开始“力不从心”：结构崩、时序飘、物理错误、风格漂移，甚至第一秒和第三秒像两个世界。原因不只是“算力不够”，而是多维度博弈：时序一致性、运动建模、物体持久性、镜头语法、可控性都在拉扯。

先说输入理解差异。图文到图像，模型更多解决的是单帧的语义对齐和视觉细节；而图文到视频，除了语义，还要推断“发生了什么、怎么发生、多久发生”。这背后需要隐式的世界模型：速度、惯性、遮挡关系、光影随时间的变化。很多视频模型会在长镜头里累积误差，导致角色外观逐帧漂移，或者动作节奏忽快忽慢。你能感觉到它“会画”，但不会“导戏”。

再看训练数据。图像数据海量、标注成熟；高质量视频数据稀缺且昂贵，长尾场景

更是难以覆盖。很多公开数据被剪成短片段，缺少完整叙事链条；版权合规又进一步压缩可用池。结果就是模型学到的是“片段化运动纹理”，而不是“故事级因果”。当你要求它从A走到B，再拾起C，它能逐帧画得美，却记不住“C在哪”，或者忘了“手里已经拿着东西”。这也解释了为什么同一角色在视频中途会“换发型/换衣服/换指环”，因为训练目标更多是下一帧像素的似然，而非角色状态的一致性。

架构层面也有门槛。图像模型以扩散或自回归为主，计算图单帧闭合；视频则要在时域展开：3D卷积、时空注意力、因果掩码、多尺度金字塔，哪一样都吃显存。许多系统折中为“关键帧+插帧”或“稀疏时采样”，这能省算力，却把长程依赖切断了；插帧器再强，也很难补回“语义的连续性”，于是就出现“动作像被拉丝”“嘴型对不上台词”的割裂感。相反，少数高端闭源模型采用分层表征：先学低频运动骨架，再精修高频纹理，并用“角色/道具/背景”的解耦表征去约束持久性，这类方法才能在30秒以上还不散架。

可控性是另一块短板。文本控制在图像上足够细，但到视频，文本描述对“镜头语言”的约束力明显不够——“推进镜头”“手持感”“摇移-跟焦”这些，很多模型压根没有显式控制通道。没有镜头语法，视频就像连续生成的幻灯片，缺乏调度和节奏。业界在探索多轨控制：文本+草图/深度/光流+音频节拍+镜头脚本结构（镜号、景别、时长）。当这些控制源进入训练，模型才有可能对齐“怎么拍”而不仅是“拍什么”。

评测也拖了后腿。图像评测有CLIP分、偏好对齐、审美打分，比较稳；视频却缺“共识指标”。FID/IS迁移过来并不好用，人主观打分

容易受叙事偏好影响；自动化指标又很难同时衡量“内容正确、运动自然、风格统一、角色一致、口型同步”。这直接影响研发节奏——你很难用一个数字指导大规模迭代，只能靠小样本A/B和放映室里“拍脑袋”的偏好，进展自然缓慢。

另一个被低估的点是音画耦合。视频不是无声的图像序列，音乐节拍、环境音、对白节奏都会反过来塑造镜头运动与剪辑点。当前很多文生视频在无声状态下“看着还行”，一上配乐就暴露节奏错位：镜头切不到拍点，角色动作上冲拍而非落拍，嘴型与对白延迟数百毫秒。要解决这点，就需要把音频特征（节拍、和声张力、语音音素边界）纳入时序条件，并在训练目标里显式惩罚错位。

怎么破局？我更看好三条路线的叠加：第一，数据侧的“过程监督”，不只给结果帧，还给中间的运动/镜头/分镜标注，哪怕是弱标（光流、深度、姿态、ASR对齐），让模型学到“拍的过程”；第二，表征侧的“可编辑分解”，把角色外观、场景几何、材质、光照、运动轨迹解耦，分别做持久性约束，必要时引入实体记忆与约束优化；第三，控制侧的“多模态编排”，让文本只是剧本纲，要靠分镜脚本、参考视频、草图走位、音轨节拍去落地具体镜头。这样既降低纯文本歧义，又给到创作者熟悉的操控杆。

短期内，“图文到视频”的体验会继续两极化：高端闭源（大算力+专有数据+复杂管线）逐步接近“可用”，开源与轻量方案在10秒内做“风格片头/动效海报/产品转台”已足够香，但长镜头叙事、复杂交互与精确调度仍会暴露短板。中期的拐点，可能来自两侧：一是生成与物理/图形学的融合，用神经场+可微渲染保证几何和光照一致；二是“视频编辑优先”的路线，用真实素材为锚点，模型做结构化改写而非全自生，借此绕开世界模型的不确定性。

如果把图像生成类比“会画”，那视频生成更接近“会拍、会剪、会演”。当我们开始用“镜头语言”和“叙事结构”去约束模型，而不是只喂它像素相邻关系，它才能从“连续的好看帧”进化成“可信的动态故事”。这条路不短，但方向已经很清楚了。