学习路径 · 用好 AI
文生图是什么?
每天有上亿张图片通过 AI 生成。Midjourney、Stable Diffusion、DALL-E——这些名字正在进入日常对话。文生图,就是输入一句文字描述,AI 直接生成一张图像。像素级原创,这张图历史上从未存在过。以前写一千字才配一张图,现在说一句话就出一张图。
一句话出图
文生图工具长得像个聊天框。写"一只橘猫戴着墨镜坐在沙滩椅上喝椰子水",半秒后回来一张图。不是从素材库里搜,是从噪声里凭空生成。
这个能力依赖一个叫"扩散模型"的核心技术。
扩散模型:从噪声里洗出图像
扩散模型的核心动作不是"画",而是"去噪"。训练时,模型看大量图片,学习把图片逐步加噪到完全随机,再反向学习:从纯噪声一步步还原出清晰图像。生成时,模型拿到文字描述,从一个随机噪声点出发,像洗照片一样,几十步之内把影像洗出来。
2022 年 Stable Diffusion 把这件事搬到了潜空间——图片压缩成小尺寸向量再扩散,普通显卡也能跑。加上文本编码器 CLIP,每次去噪前先看一遍文字描述,确保生成的画面跟描述对得上。这套流程跑通了,文生图才算真正可用。
主流工具
到 2026 年,市面上十几个文生图产品,分三条路:
Midjourney——闭源,跑在 Discord 里。审美最强,油画质感和光影最突出。不适合批量工作,但单张出图的"好看率"最高。
DALL-E 3——OpenAI 的闭源方案,跟 ChatGPT 深度整合。文字描述还原度好,对复杂句子的理解明显优于其他工具。
Stable Diffusion——开源生态的代表。本地部署、自定义模型、精确控制(ControlNet、LoRA)。灵活性碾压同行,但需要动手能力。
国产工具也在追赶。字节的即梦、阿里的通义万相,都支持中文提示词,理解本土语境比海外工具更自然。
能做什么,不能做什么
文生图在创意阶段极强。头脑风暴、概念设计、情绪板、插画草稿——三分钟出几十个方案供挑选。人类画师一周的活,它几分钟能铺出方向。
但缺陷同样突出。第一,手指画不对。扩散模型对精确结构天生弱,手指五根怎么摆、关节怎么弯,经常出错。第二,文字写不对。想在图上写招牌、标签、书名——模型基本在乱写,字母变形或字序颠倒。第三,一致性差。同一个人物两帧之间容易走形,角色一致性是文生图做故事板的最大障碍。
这些局限正在被逐个修复:DALL-E 3 的文字准确率比前代大幅提升;Sora 的视频模型间接推动了对角色一致性的研究。但到 2026 年年中,手和字仍然是文生图的送分题软肋。
相邻概念
- 扩散模型:文生图的核心引擎。从噪声到图像,通过反向去噪生成图片。Stable Diffusion 是这个方向最有影响力的开源实现。
- CLIP:OpenAI 的图文对齐模型。扩散模型用它来理解文字描述,确保生成结果符合提示词。
- ControlNet:对扩散模型添加额外条件控制,比如用一张骨架图控制人的姿势。
- LoRA:轻量级微调技术。在文生图领域用来固定某个角色或某种风格,不用重新训练整个模型。
- 潜空间:Stable Diffusion 把图像压缩成小尺寸表示后再做扩散,避免在巨大像素空间直接跑。这是消费级 GPU 能跑文生图的关键。
参考
- Ho et al. Denoising Diffusion Probabilistic Models. NeurIPS, 2020.
- Rombach et al. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022.
- Radford et al. Learning Transferable Visual Models From Natural Language Supervision. ICML, 2021.
- Zhang et al. Adding Conditional Control to Text-to-Image Diffusion Models. ICCV, 2023.