基础概念
概念解析——注意力机制
注意力机制(Attention Mechanism)是过去十年 AI 领域最重要的思想之一。它让模型在处理信息时学会"看哪里"——给重要的位置更高权重,忽略无关内容。这个看似简单的想法,直接催生了 Transformer,进而催生了今天所有的大语言模型。
1. 注意力是什么
先想一个场景。你朋友说"我去银行办业务,旁边河岸上有个音乐节"。听到"银行"你想到的是金融机构,听到"河岸"你想到的是水边的岸。同一个词"银行",靠上下文你自动分清了意思。
因为你注意到了关键线索。"办业务"告诉你"银行"是金融机构,"河岸"和"音乐节"把你引向另一个方向。这就是注意力——人类理解语言时天然会聚焦在相关信息上。
注意力机制就是把这个过程教给计算机。模型在处理一个词时,不是死板地只看它本身,而是扫一眼周围的每个位置,判断哪些重要、哪些可以少看。重要的给高权重,不重要的给低权重,最后综合所有信息形成对这个词的理解。
在注意力出现之前,主流的序列模型是 RNN(循环神经网络)。RNN 必须按顺序逐个处理词——看完第一个才能看第二个,看完第二个才能看第三个。句子开头的词和末尾的词建立关系,信息需要沿着链条一步一步传,传得越长越容易丢。注意力打破了这种限制:所有位置可以"直接互看",不需要中间传递。
2. Q、K、V 直觉
注意力在实现中有三个角色,通常用 Q、K、V 表示。很多人第一次看到 Query、Key、Value 觉得抽象。把它们当成三步动作,就好懂了。
动作一 — Query(查询)
当前位置想找什么。假设模型在句子中处理"它"这个字,它需要搞清楚"它"指谁。此时模型发出一组数字——本质上是一个查找请求,内容是"谁可能是这个词的指代对象"。
动作二 — Key(键)
每个位置准备自己的"线索标签"。句子中的"小猫"带有"生物""名词"标签,"窗边"带有"地点""位置"标签。Query 发出查找请求后,所有位置把自己的 Key 拿出来和 Query 比较,算匹配度。
动作三 — Value(值)
匹配度决定了从每个位置拿回多少信息。比较结果被转化成一组权重,按权重从各个位置的 Value 中提取信息,加权求和后作为当前位置的新表示。如果"小猫"和"它"匹配度最高,那么"小猫"的 Value 在最终结果里的占比最大。
注意每个位置同时扮演两个角色:对其他位置发出 Q,同时为其他位置提供自己的 K 和 V。整个句子的所有位置并行在做这件事——这是注意力机制高效的根源。
3. 自注意力:内部互看
自注意力(Self-attention)指 Q、K、V 全部来自同一段内容。句子里的每个词和句子里的其他所有词做注意力计算。输出时,每个词都带上了上下文的信息。
举个例子。"小猫趴在窗边,因为那里很暖和。"模型处理"那里"这个词时,自注意力让它去观察整句话中所有可能的位置。"小猫"匹配度中等,"窗边"匹配度高——因为"那里"通常指代一个地点。最终"那里"的新表示里,来自"窗边"的信息权重最高。
自注意力最厉害的地方:一句话里的每个词,都能在一层计算之内获取到其他任何位置的信息。没有距离衰减。最开头的词和最末尾的词之间信息路径长度永远是 1。这对长文本来说是根本性突破。
与自注意力相对的是交叉注意力(Cross-attention)。Q 来自一段内容(比如当前翻译出来的中文),K 和 V 来自另一段内容(比如原始英文句子)。这在编码器-解码器结构中很常见——生成目标语言时,模型需要持续参考源语言的信息。
4. 多头注意力:多角度观察
一套注意力机制只产生一组权重,模型只能从一个维度判断"哪些位置重要"。但语言中的"重要"有很多种:语法上的(主语和谓语)、语义上的(代词和指代对象)、位置上的(近和远)。一组权重没法同时捕获这么多关系。
多头注意力(Multi-head Attention)并行跑多套注意力。模型把 Q、K、V 各复制成多份(比如 8 份或 16 份),每份用不同的参数去学习不同的关系。一个头可能学会关注代词和指代对象,另一个头学会关注语法搭配,第三个头学会关注对比关系。
最后所有头的输出拼在一起,经过一个线性变换得到最终结果。这就好比请多个专家看同一段文字,每个专家关注的点不同,汇总他们的意见——比一个人的判断全面得多。
5. 注意力为什么是突破
在 Transformer 之前,业界主力是 RNN 及其改进版 LSTM、GRU。RNN 处理序列时有个绕不过去的短板:必须一步一步走,每个时间步依赖上一个时间步的输出,无法并行。训练一个 500 个词的句子,要串行算 500 步。
自注意力在一步之内完成所有位置之间的交互,计算可以高度并行。2017 年 Google《Attention Is All You Need》证明了:完全用注意力取代 RNN,不但能并行训练,而且效果更好。
引发的连锁反应是巨大的。训练速度大幅提升,模型可以变得更大(从数百万参数到数千亿),更大规模的数据可以被消化。这才有了预训练 + 微调的范式,有了 BERT、GPT,有了今天的大语言模型。
注意力的影响不限于 NLP。Vision Transformer(ViT)把图像切块后做自注意力,在图像分类上挑战了卷积网络。多模态模型把文本和图像统一编码后做交叉注意力。注意力已经成为一种通用的"信息交互元操作"。
6. 相邻概念
- Transformer:首次完全基于自注意力的架构,注意力机制的集大成者。
- 多头注意力(Multi-head Attention):并行跑多组注意力,让模型从多个维度观察关系。
- Q、K、V:注意力机制的三个核心角色——查询、键、值。
- 自然语言处理(NLP):注意力的发源地,也是受益最大的领域。