基础概念
概念解析——Transformer
2017 年,Google Brain 一篇 8 页论文《Attention Is All You Need》捅穿了神经网络架构的天花板。它提出了一种叫 Transformer 的架构,把当时统治 NLP 的 RNN 扫进了历史角落。9 年后,ChatGPT、Claude、Gemini、Llama——几乎所有你能叫出名字的大模型——都是它的后代。
1. 什么是 Transformer
Transformer 是一种神经网络架构,核心操作叫自注意力(Self-attention)。它让一段文本里的每个词跟所有其他词算一遍关系分数,决定谁值得重点看。
之前的 RNN 读句子像翻书:从左到右一个字一个字处理,读到第 10 个字时,第 1 个字的信号已经衰减得几乎没了。长距离依赖——比如句首主语和句末动词的关系——RNN 抓不住。
Transformer 把整段话同时摊开,所有 token 一次性互看。这带来了两个根本性优势:第一,无论距离多远,任意两个词之间都能直接通信;第二,整个计算可以并行塞进 GPU,训练速度快了几个数量级。
论文《Attention Is All You Need》(arXiv:1706.03762)发表于 2017 年 6 月 12 日,正文只有 8 页,8 个作者。当时 Google 内部没把它当大新闻——论文本来是为优化机器翻译写的。没人预料到它后来撑起了一个产业。
2. 自注意力:一句话讲清 Q/K/V
自注意力是 Transformer 最核心的零件。每个输入词都发出三样东西:
- Q(Query)——我在找什么
- K(Key)——我是什么
- V(Value)——我能给什么
拿句子「猫坐在沙发上」来说。假如「猫」这个词当 query,它拿自己的 Q 去跟每个词的 K 做点积——「猫·猫」「猫·坐」「猫·在」「猫·沙发」「猫·上」各算一个分数。分数越高代表越相关。然后除以 √d_k 防止数值爆炸,再经过 softmax 归一成 5 个 0~1 的权重。最后用这些权重加权 5 个 V 向量,得到「猫」这个位置的新表示。
所有词同时做这件事,而且彼此的结果互不影响——所以能并行。
整条公式写出来就是:attention(Q, K, V) = softmax(QKᵀ / √d_k) · V。详见原论文 §3.2.1。
3. 同一套骨架,三种装法
2017 年原始 Transformer 是 encoder-decoder 结构,专为翻译设计:encoder 读完整句输入,decoder 逐词生成译文,decoder 每写一个词都通过 cross-attention 回头看一眼 encoder 的输出。
后来人们发现 encoder 和 decoder 可以拆开单独用——同一个架构分成了三个分支。
Encoder-only:只读不写
代表作是 BERT(2018)。输入「我今天心情[ ]好」,输出预测被盖住的词。双向 attention——同时看到左右两边。适合分类、实体抽取、搜索召回。代表模型:BERT、RoBERTa、DeBERTa、ModernBERT。
Decoder-only:只写不读
代表作是 GPT 系列。从左往右预测下一个 token,每写一个字都只能看左边已经写好的东西——这叫因果 mask。2026 年几乎所有商用 LLM(ChatGPT、Claude、Gemini、Llama、Qwen、DeepSeek)都是 decoder-only。占绝对主流。代表模型:GPT 全系、Claude 全系、Llama 全系、Qwen 全系。
Encoder-decoder:先读后写
最接近原始 Transformer 的形态。适合输入输出差异大的任务:翻译、摘要、语音转文字。代表模型:T5、BART、Whisper。
4. Block 里面还有什么
自注意力是 Transformer block 的明星,但不是唯一零件。每个 block 里还塞了这些:
位置编码(Position Encoding)。自注意力本身不认词的先后顺序——把句子打乱算出来一样。必须额外告诉模型每个词在第几位。原版用不同频率的 sin/cos 函数直接算位置向量;BERT 用可学习的向量;2021 年之后 RoPE(旋转位置编码)成为主流——它把位置信息编进 Q 和 K 的比较过程里,模型可以外推到训练长度之外。
多头注意力(Multi-head Attention)。自注意力不是只做一次,而是复制成 8 份或 16 份并行跑。每份的 Q/K/V 变换矩阵不同,学到的关系也不同:一个 head 关注主谓关系,另一个关注位置修饰,再一个关注句首句末的呼应。最后把各头的输出拼起来,保持参数量不变(头越多,每头的维度越小,总参数持平)。
前馈网络(FFN)。每个词在 attention 之后还要单独经过一个两层全连接网络。attention 负责「词间沟通」,FFN 负责「这个词自身再加工」。后来 MoE(混合专家)换掉的就是 FFN 这一块。
这三样——自注意力、位置编码、FFN——叠在一起构成一个 block。原始 Transformer 叠了 6 层。今天的 GPT-5 叠了上百层。
5. 2026 年:骨架没换,零件换了好几轮
2017 的原版推到 2026 年的大模型已经扛不住了。每一层都被换了零件:
Flash Attention 4。原版 attention 要把 N×N 的中间矩阵存到显存里——N=8K 时显存爆炸。Flash Attention 把 Q/K/V 切成小块流式计算,只往显存写最终结果。FA-4 在 Blackwell GPU 上达到 71% 利用率,比三年前的 Triton 实现快 2.7 倍。
GQA(分组查询注意力)。推理时 LLM 的瓶颈不是算力而是 KV 缓存——70B 模型 8K 上下文单序列就要几 GB。GQA 让多个 query head 共用一份 key/value,KV cache 直接砍到 1/8。Llama 3.1、Qwen 3、Mistral 全在用。
MLA(多头潜在注意力)。DeepSeek 的自研方案:把 K/V 压成一个低维隐藏向量,比 GQA 压缩得更狠(约 10 倍),但需要自己写 CUDA kernel。
滑动窗口注意力。100K+ 上下文中,大部分词跟远处的词没什么关系。限制每个 token 只看左右 W 个邻居(W=4K 常见),复杂度从 O(n²) 降到 O(n·W)。Mistral 7B 是第一个用它的主流模型。
挑战者:Mamba。Mamba-3(2026 年 3 月,ICLR 2026)基于状态空间模型(SSM),在 1.5B 参数上比同尺寸 transformer 准 4%、长序列快 7×。但它在检索和复杂推理上仍落后 transformer。2026 年的趋势不是替代而是混合——NVIDIA Nemotron、Qwen 3 已经在 transformer 层里夹入 Mamba 或 linear-attention 层。
6. 为什么 Transformer 赢了
回顾一下:
- RNN 串行 + 长距离信号衰减 → 训练慢、效果差
- Transformer 并行 + 任意距离直接通信 → 训练快、效果好
并行化让 Transformer 能利用 GPU 的矩阵计算能力,把训练时间从几周压缩到几天。直接通信让它能记住更长的上下文。这两个优势叠加导致了一个结果:规模扩大(scaling)不再被架构卡住。
RNN 时代,模型层数翻倍,训练时间直接翻倍。Transformer 时代,层数翻倍、参数翻倍,但只要 GPU 够多,训练时间几乎不变——因为大部分计算可以并行。
这也是为什么 2026 年我们能见到万亿参数级的模型。Transformer 不是完美的架构——attention 的 O(n²) 复杂度、大显存消耗、推理时 KV cache 膨胀都是问题——但它是目前唯一能撑到那个规模的方案。
7. 相邻概念
Transformer 不是孤立的。你接下来可以顺着这些方向深入:
- 注意力机制(Attention):Transformer 的绝对核心,理解 Q/K/V 就等于理解了半篇论文。
- 多头注意力(Multi-head Attention):把注意力复制多份并行,学不同的关系。
- BERT:只取 encoder 半边的代表,双向理解,擅长分类和抽取。
- GPT:只取 decoder 半边的代表,自回归生成,2026 年最主流的形态。
- 大语言模型(LLM):Transformer 在 2026 年最耀眼的产出。整套架构 + 规模化的结果。
- 自然语言处理(NLP):Transformer 最初征服的领域,也是它最大的应用场。