AI图片

概念解析——扩散模型(Diffusion)

扩散模型是今天绝大多数文生图、文生视频产品的底层引擎。Midjourney、Stable Diffusion、DALL-E、Sora——名字各不相同,但核心都是一个扩散过程:从一团纯噪声开始,一步步把它变成一张清晰的图像。这套方法 2015 年由 Sohl-Dickstein 等人提出,2020 年 DDPM(Denoising Diffusion Probabilistic Models)让它真正实用化,此后迅速取代 GAN 成为图像生成领域的主流范式。


1. 核心思想

扩散模型的灵感来自热力学。一滴墨水滴进清水,会不可逆地扩散开,直到均匀分布。扩散模型把这个物理过程反过来——既然从有序到无序是自然的,那就训练一个模型学会"从无序回到有序"。

具体分两步。前向过程:在训练数据上不断加高斯噪声,经过足够多步后,图像完全变成高斯白噪声。反向过程:训练一个神经网络,逐步去噪,从纯噪声中恢复出图像。模型真正在做的事,就是学会"倒退一步"——给定一张加了一些噪声的图,预测出前一帧更干净的版本。

扩散模型本质是学"反向"——从噪声回到图像。这个思路听起来简单,但效果惊人。2015 年刚提出时生成质量远不如 GAN,2020 年 DDPM 改进了训练目标和采样策略后一举反超。

前向过程

加噪声

给定一张训练图像,前向过程按时间步逐步往上面叠加高斯噪声。每一步的噪声大小由一个预先定义好的"噪声规划"(noise schedule)控制——开始加得少,后面加得多。这步是纯数学操作,不需要任何训练。经过 T 步(通常是 1000 步),原始图像的信息完全被噪声淹没,变成一张纯高斯噪声图。

反向过程

去噪声

反向过程是扩散模型真正要训练的部分。模型拿到的输入是一张加了噪声的图像和时间步 t,输出是这张图上的噪声分布——也就是预测出前向过程在这一步加了多少噪声,然后把它减掉。这个过程重复 T 步,从 T 到 0,噪声越来越少,图像越来越清晰。在推理时,模型从一张完全的随机噪声图出发,经过完整 T 步去噪,最终生成一张全新图像。


2. U-Net 架构

DDPM 及之后的主流扩散模型使用 U-Net 作为去噪网络。U-Net 的名字来自它的形状:左边是编码器(下采样),右边是解码器(上采样),中间有跳跃连接(skip connection)把编码器各层的特征直接拼到解码器对应层,像一个 U 形。

这种设计对图像生成有天然优势:下采样路径捕捉全局结构,上采样路径恢复细节,跳跃连接把这两部分信息对齐,让模型同时看清"大局"和"局部"。在扩散模型的语境里,U-Net 的每一层还加入了时间步的嵌入(time embedding),让网络知道"现在走到第几步了"。

类比:U-Net 像一个画家——先快速勾画轮廓(下采样),再回头一笔笔补充细节(上采样),中间随时比对参考草图(跳跃连接)。时间步嵌入决定这个画家是在"第 10 步"还是"第 100 步",步数不同,补充的细节粒度也不同。

3. 训练目标:预测噪声

扩散模型的训练目标很简单:让模型预测的噪声和真实加入的噪声之间的误差最小化。损失函数用均方误差(MSE),公式写出来就是一句大白话——"把模型预测的噪声图和实际噪声图逐像素求差值,越小越好"。

这个训练目标有一个很精巧的性质:它等价于在多个噪声级别上训练一个去噪自编码器。模型不需要预测整张图像,只需要预测在当前噪声量下应该"往回走多少"。每次训练随机选一个时间步 t,对图像加 t 步的噪声,然后让模型预测这个噪声——简单、稳定、可并行。

扩散模型的损失函数是整个生成式 AI 里最简单的之一:MSE 算像素差,没有对抗训练,没有变分下界的手工调参,稳定到几乎不会训练崩掉。

4. 文本条件控制

要让扩散模型按照文字描述生成图像,需要把文本的语义信息引入到去噪过程中。标准做法是交叉注意力(cross-attention)。

流程如下:用户输入的文本由 CLIP 的文本编码器转换成一系列向量(text embeddings)。U-Net 在去噪过程中,每一层的特征图通过交叉注意力机制"读取"这些文本向量,找出哪些区域的生成应该受到文本哪些部分的影响。比如提示词"一只坐在草地上的橘猫"——"橘猫"对应特征中的主体区域,"草地"对应背景区域。交叉注意力把文本和图像特征对齐起来。

条件信号还可以远不止文本。ControlNet 把姿态骨架、深度图、边缘图等作为额外条件注入 U-Net;Imagen 等模型用 T5 文本编码器代替 CLIP;Sora 等视频模型额外加入了时序条件。但最基础的方案仍然是"文本嵌入 + 交叉注意力"。


5. 采样器:DDPM 与 DDIM

扩散模型训练好后,从噪声生成图像的过程叫采样(sampling)。采样器(sampler)就是反向过程中每一步怎么"去噪"的具体算法。

DDPM

慢但严谨

原始 DDPM 论文的采样方法。每一步去噪后都会加一点随机噪声,模拟前向过程的随机性。理论上生成质量高,但需要完整的 1000 步才能出好结果,生成一张图要几十秒。在早期研究中,这是主要瓶颈。

DDIM

快且确定

DDIM(Denoising Diffusion Implicit Models)2021 年提出,核心改进是去掉了每一步的随机噪声注入。这一步让采样变成确定性的——同样的初始噪声和同样的文本提示,每次生成完全一样的图。更重要的是,DDIM 支持跳步采样(skip-step sampling),可以只用 50 步甚至 20 步就生成质量可接受的图像,速度提升 10-50 倍。

如今的实际应用中,DDIM 及其改进版本(DPM++、Euler Ancestral 等)是主流。用户在图生图工具里看到的"采样步数"选项,背后就是采样器的步数控制——步数越多越精细,步数越少越快但可能损失质量。


6. 无分类器引导

扩散模型面临一个矛盾:生成的结果要尽可能符合提示词(高条件忠实度),同时要有多样性(不要千篇一律)。无分类器引导(Classifier-Free Guidance,CFG)是解决这个问题的标准方法。

做法其实很巧妙。训练时模型有一定的概率不看条件(无条件生成),推理时把"有条件预测"和"无条件预测"做线性插值——朝着条件信号的方向多推一点,生成就更服从提示词;往无条件方向拉回一点,多样性就更高。这个插值强度由 CFG scale 控制:一般 7-12 是常用区间,值太大图像会过饱和、出现伪影,值太小则跟提示词不贴。

直观理解:CFG scale = 1 时,模型完全自由发挥,靠自己的"想象力"(无条件分布)生成。CFG scale = 10 时,模型每一步都被拉向文本条件,结果更精确但可能损失多样性。用户在用 Midjourney 或 Stable Diffusion 时调 "--风格化" 或 "CFG Scale" 滑块,调的就是这个。

7. 2026 年的格局:扩散 + Transformer 混合

2026 年的扩散模型已经不是 2020 年那个纯 U-Net 了。最大的变化是 Transformer 的渗透。

DiT(Diffusion Transformer)2023 年由 Meta 提出,直接用 Transformer 替换 U-Net 作为去噪主干。Sora、Stable Diffusion 3 等新一代模型都采用或部分采用了 DiT 架构。2025-2026 年的趋势是混合架构:U-Net 处理局部细节,Transformer 捕获全局依赖,两者结合。Flux、SD3.5 等模型都在走这个方向。

同时,扩散模型的效率革命还在继续。蒸馏(distillation)技术把采样步数压缩到 1-4 步,几乎无损质量;潜在扩散模型(LDM)把扩散过程搬到压缩过的潜空间而不是像素空间,大幅降低了计算成本。2026 年的文生图体验已经做到消费级 GPU 上 1-2 秒出一张 1024 分辨率的图像,质量接近专业创作者水平。

扩散模型从 2020 年的 U-Net 走到 2026 年的 U-Net+Transformer 混合架构,底层逻辑没变——还是从噪声到图像的逐步去噪——但工程实现已经迭代了好几轮。模型更快、更强、更可控。

8. 相邻概念

扩散模型不是孤立存在的。整个文生图生态由多个组件协同构成,顺着这些概念可以深入理解全链路:

  • Stable Diffusion:最具代表性的开源扩散模型系列,在潜空间运行,大幅降低了计算门槛。
  • CLIP:OpenAI 的图文对比学习模型,扩散模型中承担文本编码器角色,把文字映射到语义空间。
  • VAE(变分自编码器):扩散模型潜空间的核心组件,负责把图像压缩到潜空间、去噪完成后再解压回像素空间。
  • ControlNet:对扩散模型施加空间条件控制的技术框架,精确控制姿态、深度、边缘等。
  • 多模态:扩散模型本身就是多模态技术的典型代表——它接收文本输入,输出图像,在两种模态之间建立映射。
概念解析 · 人工智能ABC