AI视频

概念解析——时序注意力

给模型看一张图,它能理解画面里有什么。给它看一段视频——几十帧连续画面——它就需要知道"前一帧里那只猫跑到哪了"。时序注意力(Temporal Attention)就是让模型在帧与帧之间建立关联的核心机制。


1. 为什么视频模型需要时序注意力

一张图片是静态的:一只猫坐在沙发上。模型只需要分析空间关系——猫在哪、沙发什么颜色、光线从哪来。一段视频就不一样了:猫站起来、跳下沙发、走出画面。每一帧之间有关联,前因后果才构成"视频"。

如果模型只看每一帧的独立内容,忽略帧之间的连续关系,生成的结果就会出现典型的"闪烁效应":背景忽明忽暗、物体位置跳跃、运动不连贯。时序注意力就是来解决这个问题的——它让模型在生成某一帧的时候,同时参考它的前后帧。

视频生成最难的不是画质,是"一致性"——让猫从第 1 帧跑到第 100 帧,还是同一只猫、同一个姿态、同一条运动轨迹。

2. 时空注意力:同时处理两个维度

标准 Transformer 的自注意力在一维序列上操作——无论是文本还是图像 patch 序列,注意力计算都在单一维度上进行。视频是三维数据(时间 x 高 x 宽),于是研究者在空间注意力之外引入了一个新维度:时间轴。

时空注意力(Space-Time Attention)把注意力分解成两个步骤:

  • 空间注意力:在同一帧内,让各个图像 patch 之间互相"看",理解画面里的空间结构。
  • 时序注意力:在不同帧之间,让同一位置(或相关位置)的 patch 跨时间"通信",追踪运动变化。

这种分解的设计叫"因式分解时空注意力"(Factorized Space-Time Attention)。分开做而不是合在一起做,主要考虑的是计算效率——如果把视频的所有帧、所有 patch 全放到一个巨大的注意力矩阵里算,计算量会爆炸。

示例:一段 10 秒视频,30fps,每帧分成 16x16 个 patch。
空间注意力:每帧内 256 个 patch 互看。
时序注意力:每个 patch 跨 300 帧找对应位置的 patch。
分开算:300 x (256 x 256) + 256 x (300 x 300) —— 约 4200 万次比较。
合在一起算:(300 x 256) x (300 x 256) —— 约 58 亿次比较。
差距超过 100 倍。

3. 3D 自注意力:完整的三维建模

因式分解做了"先空间后时间"或"先时间后空间"的近似。但更完整的做法是 3D 自注意力(3D Self-Attention),也叫"全时空注意力":把视频看作一个三维立方体——高、宽、时间——让每个 patch 同时关注整个三维空间中的所有其他 patch。

3D 自注意力在 Video Vision Transformer(ViViT)等早期工作中被提出。它的优势是理论上最完整,任何空间或时间上的关联都不会漏掉。代价也显而易见:计算复杂度是 O((T x H x W)²),其中 T 是帧数、H 和 W 是空间尺寸。当视频长度和分辨率同时增加时,这个复杂度涨得飞快。

实践中,很少有模型用完整的 3D 自注意力。更常见的做法是局部化约束——每个位置只关注三维空间中的一个邻域窗口,而不是全局。这类似于文本模型中用滑动窗口代替全局注意力的思路。


4. 因果时序注意力与自回归生成

视频生成有一种常见的模式是"自回归式":逐帧生成,当前帧只依赖过去的帧,不依赖未来的帧。这就是因果时序注意力(Causal Temporal Attention)的应用场景。

因果注意力的核心约束很简单:在计算第 t 帧的注意力时,只允许它"看到"第 1 帧到第 t-1 帧的信息,未来帧被遮罩掉。这跟文本生成中 GPT 所用的因果掩码(causal mask)原理一模一样,只不过注意力轴从 token 序列换成了帧序列。

这种设计的优势在于可以无限延长生成——你永远只需要看过去,不关心未来。缺点是模型在做第 t 帧时对"之后会发生什么"完全没有概念,可能导致生成的视频缺乏长程结构上的前后呼应。


5. 稀疏时序注意力:效率优先

不管是完整 3D 还是因式分解,只要逐帧密集计算注意力,开销都不小。稀疏时序注意力(Sparse Temporal Attention)试图在"该看的地方看,不该看的地方不看"上做文章。

常见的稀疏策略包括:

  • 跳帧注意力:每个帧只跟前后各 k 帧通信,不是全部。比如 k=4,则只看前后共 8 帧。这假设视频的运动是局部的。
  • 关键帧注意力:先把视频压缩成关键帧序列,只在关键帧之间跑注意力,非关键帧从关键帧插值生成。
  • 可变形注意力:不去关注所有位置,而是学习一个偏移量,只去关注那些真正"动起来"的区域。

这些方法在计算量和一致性之间取一个折中。在实际产品中,稀疏策略几乎成了标配——因为用户对视频分辨率和流畅度的要求,远超对"帧间像素级完美对齐"的要求。


6. 时序注意力在 Sora 和 Video DiT 中

2024 年 OpenAI 发布 Sora,引发了文生视频的新一轮热潮。Sora 的技术报告明确提到了在 DiT(Diffusion Transformer)架构中引入了时空注意力机制。Sora 的处理单位不是"帧",而是"patch 在时间上的延续"——它把视频压缩成时空 patch,然后在这些 patch 上做三维注意力。

Video DiT 是另一个重要的参考路线。它把 DiT 从图像扩展到视频:在 DiT 原有空间注意力的基础上,插入时序注意力层,形成"空间层 + 时间层"交替堆叠的结构。每个 DiT block 先做空间自注意力(同一帧内),再做时序自注意力(跨帧)。

在 2025-2026 年的开源视频生成模型中(如 Open-Sora Plan、CogVideoX、Mochi),这种"空间-时间交替"模式已经是事实标准。差异主要在于时序注意力的具体设计:是每帧密集连接还是稀疏连接,是否使用因果掩码,注意力头数如何分配。

Sora 的真正突破不在于引入了全新的注意力机制,而在于把时空 patch 做到足够大、数据量足够多,让模型自己学到了帧间一致性——不是靠规则强制的,是从数据里长出来的。

7. 相邻概念

时序注意力不是孤立存在的。你接下来可以顺着这些概念深入:

  • DiT 扩散 Transformer:用 Transformer 替代 U-Net 的扩散模型架构,Sora 的基础,时序注意力在这个架构里工作。
  • 视频扩散模型:将扩散过程扩展到视频生成的技术,时序注意力是其中的关键组件。
  • 注意力机制:时序注意力的基础,理解空间注意力是理解时序注意力的前提。
  • 多模态:视频模型本质上是一个多模态系统——文本到视觉的跨模态生成。
概念解析 · 人工智能ABC