大语言模型

概念解析——多查询注意力

MQA(Multi-Query Attention)是多头注意力的一种高效改法。它保留多个查询头(Query)来从不同角度查找信息,但让所有查询头共享同一组 Key 和 Value。这个改动大幅减少了生成时要保存的数据量,加速推理。


1. MHA 与 MQA 的结构差异

标准多头注意力(MHA)中,每个头拥有独立的 Q、K、V 三组参数。8 个查询头就意味着 8 份 K 和 8 份 V。每个头独立计算注意力分布,独立聚合信息。

MQA 只保留多份 Q,但 K 和 V 压缩到只有一份。8 个查询头共同读取同一组 K 和 V。每个头仍然有不同的查询角度,但查阅的"笔记"是同一份。

GQA(分组查询注意力)落在两者之间——把查询头分成几组,每组共享一组 K、V。比如 8 个查询头分成 2 组,就有 2 组 K、V。

三种注意力对比(以 8 个查询头为例)

  • MHA(标准多头注意力):8 个 Q 头 × 8 组 K、V → K/V 数据量 = 8×
  • GQA(分组查询注意力):8 个 Q 头 × 2 组 K、V → K/V 数据量 = 2×,折中方案
  • MQA(多查询注意力):8 个 Q 头 × 1 组 K、V → K/V 数据量 = 1×,最省

2. 为什么 MQA 能省显存

Transformer 生成文本时,每生成一个 token,都要把前文所有位置的 K、V 拿出来用。这些 K、V 被暂存在显存中,称为KV Cache。生成的 token 越多、同时处理的请求越多,KV Cache 占用的显存就越大。

MQA 把 K、V 的头数降到 1 组,KV Cache 的大小也随之大幅缩减。以 8 个查询头为例:

  • MHA 的 KV Cache = 8 组 K、V
  • MQA 的 KV Cache = 1 组 K、V(是 MHA 的 1/8)

这个比例不随上下文长度变化。输入越长,省得越多。对于需要处理长上下文或高并发的服务场景,MQA 带来的显存节省非常可观。

MQA 的 KV Cache 大小只有同配置 MHA 的约 12.5%(8 头时)。上下文越长、请求越多,共享 K、V 越能省空间。

3. 质量取舍

共享 K、V 意味着所有查询头读取的信息源相同,各头的"视野"不再独立。自然会牺牲一部分表达能力。

但实践表明,这个质量损失在多数任务上非常小。原因是:K、V 的主要作用是提供"从哪查"的索引和"查到了什么"的内容,多个查询头真正差异化的是它们的查询角度(Q)和后续的聚合方式。共享 K、V 后,查询头之间的区分度确实降低,但不足以抵消推理加速带来的收益。

GQA 作为中间方案,用 2-4 组 K、V 来保留更多头间差异,质量更接近 MHA,而推理速度接近 MQA。LLaMA-2 70B 就使用了 GQA。

质量取舍速览:
MHA → 质量最高,推理最慢,显存占用最大
GQA → 质量接近 MHA,推理速度接近 MQA,流行折中
MQA → 推理最快,显存最省,质量损失在多数任务上可忽略

4. 实际应用:哪些模型用了 MQA/GQA

MQA 最早由 Shazeer 在 2019 年的论文《Fast Transformer Decoding: One Write-Head is All You Need》中提出。此后多个主流大模型采纳了这种结构:

  • Falcon(7B/40B/180B):使用 MQA,推理效率在部署时优势明显。
  • PaLM:Google 的 PaLM 系列使用 MQA。
  • LLaMA-2 70B 及 LLaMA-3 系列:使用 GQA(8 个 KV 头),在质量和效率之间取得平衡。
  • ChatGLM2/3:使用 MQA。
  • StarCoder:使用 MQA,适合代码补全场景。
MQA 和 GQA 已经成为当今主流大模型的标准配置。纯粹的多头注意力(MHA)因为推理效率问题,在新模型中越来越少见。

5. 三个概念的层次关系

Attention 决定模型看哪里,MHA 让模型同时从多个角度去看,MQA/GQA 在 MHA 的基础上共享 K、V 来提升效率。三者是层层递进的关系:

  • 注意力机制:Q、K、V 的基础计算范式,定义一次信息查找如何完成。
  • 多头注意力:并行运行多组注意力,每个头独立计算再合并结果。
  • 多查询注意力/分组查询注意力:在多头基础上共享 K、V,压缩 KV Cache 提升推理效率。

6. 相邻概念

MQA 在 Transformer 推理优化链路中承前启后:

  • 多头注意力(MHA):如果没有 MHA 的基础,MQA 就无从谈起。先理解多头注意力怎么并行工作的。
  • 注意力机制:Q、K、V 三个角色各自做什么,注意力权重怎么算——这是所有变体的地基。
  • KV Cache:MQA 要优化的对象。K、V 如何随生成过程增长,缓存为什么会占显存。
  • Transformer:注意力机制+前馈网络的完整架构,MQA 是其中的一个工程优化模块。
概念解析 · 人工智能ABC