AI视频

概念解析——视频扩散模型

视频扩散模型就是把图像扩散模型的思路扩展到视频生成。听起来只是多了一个维度,但这一多,把图像生成领域相对成熟的技术几乎全盘打翻——需要重新设计模型架构、训练策略、数据管道。2024 年 OpenAI 发布 Sora 让全世界看到文生视频的可能性,此后两年间产品和开源模型密集涌现。到 2026 年,视频扩散已经成为生成式 AI 竞争最激烈的赛道之一。


1. 从图像到视频:多出来的时间维度

一张图像是 H x W x 3 的像素张量。一段视频是 T x H x W x 3——在空间维度之外多了一个时间轴 T(帧数)。这个"多出来的"时间维度,让问题复杂度暴涨。

图像扩散模型只需要保证单帧内的空间一致性——人物比例正常、光影自洽、物体轮廓清晰。视频扩散模型必须在所有帧之间保持时序一致性:前一帧的猫,下一帧不能变成狗;镜头平移时背景应当平滑滚动;物体运动轨迹必须连续自然。

多了一个时间轴,意味着模型不能只"画好每一帧",还得确保帧与帧之间连起来是连贯的运动。这是视频扩散最核心、也最难啃的骨头。

2. 三大核心挑战

视频扩散模型面对的问题可以归结为三个:

帧间一致性。如果模型独立生成每一帧,相邻帧之间会出现抖动、闪烁、物体形态突变等问题。人眼对时间上的不连续极其敏感,一秒 24 帧里有一帧不对就会被注意到。让模型理解"同一物体在不同帧中应该保持外观一致",是视频扩散要解决的首要问题。

计算成本。视频的数据量比图像大一个数量级。一段 5 秒、24fps 的视频有 120 帧。如果每帧按 256x256 计算,总像素数是单帧的 120 倍。训练和推理时的显存消耗、算力需求都随之暴涨。2024 年训练 Sora 的算力消耗据估算是大语言模型 GPT-4 的数倍。

训练数据。高质量的文生视频模型需要大量带有详细文字描述的视频素材。图像数据集动辄数十亿张,而带高质量文本标注的视频数据集要小得多。视频的标注也比图像困难——一个镜头内包含多个场景变化、多个动作,一条简短的"一只狗在草地上奔跑"可以描述 10 秒视频,但它丢失了大量细节。


3. 技术路线:四种主要方法

面对这些挑战,学术界和工业界走了几条不同的技术路线。2026 年回头看,这些路线之间已经出现融合趋势,但了解它们的逻辑差异有助于理解整个领域。

路线一

级联式(Cascaded)

最直觉的想法:先用图像生成模型生成第一帧,然后把第一帧作为条件生成第二帧,以此类推——帧逐帧地往前"推"。这样可以把成熟的图像扩散模型直接复用,不需要从头训练视频模型。

问题也很明显:误差会逐帧累积。前几帧还好,生成到十几帧以后,偏移和模糊会越来越严重。而且这种纯自回归的方式没有全局视野——模型不知道 30 帧后会发生什么,只能在局部窗口内做预测。早期产品如 2023 年的 Meta Make-A-Video 和早期版本的 Runway Gen-1 采用过类似思路,但现在已经基本被后续路线取代。

类比:级联式像一个画家画动画——先画第一帧,然后看着前一帧画下一帧。画得越后面,跟最初的设计稿偏差越大。
路线二

联合时空建模(Joint Space-Time)

不做帧逐帧预测,而是把整个视频片段作为一个 T x H x W x 3 的 3D 张量输入网络,让模型同时处理空间和时间维度。这需要把图像扩散模型中的 2D 卷积扩展为 3D 卷积——卷积核不仅在空间上滑动,也在时间维度上滑动。

3D U-Net 是这条路线的典型代表。它在 U-Net 架构中把所有的 2D 卷积层替换为 3D 卷积或伪 3D 卷积(比如把一个 3x3x3 的卷积拆成 1x3x3 空间卷积 + 3x1x1 时序卷积),这样模型可以同时捕获帧内的空间结构和帧间的运动模式。Google 的 Video Diffusion Model(2022)和早期的 Pika 都采用了这种方案。

优势是模型天然具备全局时序感知能力。代价是 3D 卷积的计算量和显存需求巨大,限制了可处理的视频长度和分辨率。

路线三

时序注意力层(Temporal Attention)

一个更轻量的做法:保留图像扩散模型的完整空间处理管线(仍然用 2D U-Net 逐帧处理),在 U-Net 的瓶颈层和跳跃连接处额外插入时序注意力(temporal attention)模块。这些模块沿着时间轴计算注意力——同一空间位置在不同帧之间的像素互相"通信",确保跨帧的一致性。

这种方法的关键洞察是:空间信息(画面内容)可以用 2D 卷积高效处理,时间信息(运动和变化)只需在关键位置做跨帧注意力。相比 3D 卷积,计算量小得多,而且可以复用文生图模型的预训练权重——只在时序注意力层上做增量训练。

Stability AI 的 Stable Video Diffusion(SVD)是这一路线的代表。它基于 Stable Diffusion 2.1,注入时序注意力层后在视频数据上微调,生成了当时质量领先的视频结果。这种方法也是 2025 年前后开源社区中应用最广的视频扩散方案。

路线四

潜在视频扩散 + DiT

2024 年 OpenAI 的 Sora 彻底改变了视频扩散的技术路线。它抛弃了 U-Net,采用 DiT(Diffusion Transformer)架构——直接在潜空间中使用 Transformer 处理 T x H x W 的时空 patch 序列。

具体流程:先用 VAE 将视频帧压缩到潜空间(时间和空间维度都压缩),然后把潜空间表示切分成时空 patch,每个 patch 作为一个 token 输入 DiT。Transformer 的自注意力机制天然可以捕获所有 patch 之间的任意依赖关系——无论这些 patch 来自同一帧的不同位置,还是来自不同帧的同一位置。Sora 还引入了时长灵活的训练策略,可以在不同分辨率、不同时长、不同宽高比的视频上训练。

这条路线的优势是表达能力极强。Transformer 没有卷积的局部窗口限制,能够捕获超长距离的时空依赖。代价是训练成本极高——Sora 的训练据估算需要数千张 GPU 卡连续训练数周。2025-2026 年,Sora(公开版)、Kling 1.5/2.0、Vidu 2.0、CogVideoX 等新一代模型都采用了或部分借鉴了 DiT 架构。

视频扩散的技术演进可以总结为:从"逐帧拼接"(级联)到"局部感知"(3D 卷积)到"关键沟通"(时序注意力)再到"全局融合"(DiT)。每一步都在提升模型对时空统一性的建模能力。

4. 训练数据:视频-文本对

视频扩散模型对训练数据有特殊的质和量的要求。

规模要求。视频扩散模型的参数量通常是图像扩散模型的 2-5 倍(因为要处理时序),因此需要更大的数据量来防止过拟合。Sora 的训练数据据说包含数千万小时的视频,涵盖不同分辨率、不同风格、不同时长。

标注要求。视频的描述需要同时捕捉视觉内容和时间动态。"一只猫坐在窗台上"够描述一张图,但描述一段视频需要"一只猫坐在窗台上,头部左右转动,窗外的光线从右侧照进来"。自动标注(用大模型生成视频描述)是当前主流做法,但质量仍不如人工标注。

时长和分辨率分布。训练数据需要包含不同时长(1 秒到几分钟)和不同分辨率(360p 到 4K)的视频。模型需要学会在低分辨率下理解内容,在高分辨率下恢复细节。大部分训练 pipeline 会随机裁剪、缩放和截取片段来增加数据多样性。

典型规模:2025-2026 年主流视频扩散模型的训练数据在 500 万到 1 亿视频片段之间(片段长度 2-60 秒),文本标注通常由 VLM(视觉语言模型)自动生成。

5. 2026 年生态格局

2025-2026 年是文生视频从"能看"到"能用"的转折点。这个赛道已经形成了明显的分层格局。

OpenAI Sora——标杆产品。2024 年 2 月首次展示,2025 年初向公众开放。Sora 的视频质量在 2026 年仍然是业界天花板,特别是在物理世界模拟方面——水流、烟雾、布料等物理效果的逼真度领先。支持最长 60 秒、1080p 输出。

Kling(可灵)——快手出品,2024 年中上线,迭代极快。Kling 1.5(2025 年初)在动作连贯性上追平 Sora,Kling 2.0(2025 年底)进一步提升了复杂场景下的稳定性。特点是推理速度快、支持图生视频、对中国文化场景的理解准确。

Vidu——生数科技 + 清华联合出品。2024 年 7 月上线,走 DiT 路线。Vidu 2.0(2025 年中)在语义理解和复杂动作生成上有独特优势。价格策略激进,被认为是"性价比最高的文生视频产品"之一。

Runway Gen-3 / Gen-4——老牌视频生成团队。Gen-3 Alpha(2024 年中)在风格化生成上非常强,Gen-4(2025 年底)大幅提升了真实感。Runway 的核心竞争力在于其产品生态——视频编辑、修帧、延时长等工具链非常成熟。

Pika 2.0 / 2.5——2024 年底 Pika 2.0 上线,主打创意控制。Pika 2.5 进一步提升了对长视频的支持。特点是用户界面友好、适合短视频创作者快速出片。

开源侧,CogVideoX(智谱)、Open-Sora(Colossal-AI)、Latte 等项目也在快速发展。虽然开源模型的视频质量与闭源头部产品还有差距,但差距正在快速缩小。


6. 当前局限

2026 年的视频扩散模型虽然已经让人惊叹,但远谈不上成熟。几个核心问题仍然没有完全解决。

长视频一致性。模型生成 5 秒以内的短视频质量已经相当好,但生成 30 秒以上、多场景变换的长视频时,前后风格和角色外观的一致性仍然不稳定。物体在场景切换后可能"变样"。

时长限制。大多数产品的最长输出在 30-60 秒。模型很难在时间轴上保持长期的上下文视野——生成到第 200 帧时,可能已经忘了第 10 帧的画面风格。自回归延时的做法还在研究中。

计算成本。高质量视频生成的推理时间仍然以分钟计。一段 10 秒 1080p 视频在消费级 GPU(RTX 4090)上需要 5-15 分钟。云端推理的成本也仍然高昂——同样时长的视频生成比文本生成贵 2-3 个数量级。

物理准确性。模型学到的"物理"来自训练数据中的统计规律,而非真正的物理定律。水滴的下落轨迹、玻璃杯碎裂的方式、人体运动的关节约束——这些都可能在局部看起来合理,但整体上违反物理直觉。

可控性不足。用户很难精确控制视频中每个元素的运动轨迹、速度、交互方式。提示词可以描述"一只鸟从左飞到右",但很难精确控制"在前 2 秒从左侧起飞,第 3-5 秒在画面中央盘旋,最后 2 秒朝右上飞出"。ControlNet 级别的精细控制在视频领域仍不成熟。

视频扩散模型的进步速度极快——每 3-6 个月就有一轮质的飞跃。但 2026 年来看,要生成一部完全由 AI 制作的、从头到尾没有瑕疵的长片,还需要模型架构和基础设施层面的进一步突破。

7. 相邻概念

视频扩散模型不是孤立的。它的技术栈横跨多个领域,顺藤摸瓜可以深入理解:

  • 扩散模型(Diffusion):视频扩散的基础。理解从噪声到图像的去噪过程,是理解视频扩散的前提。
  • DiT(扩散 Transformer):Sora 等新一代视频模型的核心架构,用 Transformer 替代 U-Net 做去噪主干。
  • 时序注意力:视频模型中保证帧间一致性的关键技术,跨帧捕获运动信息。
  • 多模态:视频扩散模型接收文本输入输出视频,是典型的多模态系统——理解多模态有助于理解视频模型与整个 AI 生态的关系。
概念解析 · 人工智能ABC