大语言模型

概念解析——KV Cache

KV Cache 是 Transformer 推理加速中最基础也最通用的优化手段。它不改变模型参数,不改计算逻辑,只在显存里多存一份"笔记"——让生成新 token 时不必把前文全部重算一遍。几乎每一个大模型服务都在用,它是理解和优化推理性能的第一道门槛。


1. KV Cache 是什么

大模型生成回答时,一次只往末尾添一个 token,写完一个再写下一个。每写一个新 token,模型都要参考前面已经写过的内容——也就是重新计算用户输入和已生成部分在每一层留下的中间结果。

KV Cache = 模型在显存里存好了前面算过的 K 和 V,接着写下一段时直接拿来用,不需要重新算一遍。

K(Key)和 V(Value)是 Transformer 注意力机制中的两组中间数据。每个 token 在经过每一层时都会产生自己的一份 K 和 V。如果不做缓存,每生成一个新 token,模型就要把前面所有 token 的 K 和 V 重新算一次——工作量随已生成长度线性增长。KV Cache 把已经算好的 K、V 留在显存里,后续每步只计算新 token 的那一份。

这项技术广泛用于 decoder-only 架构的推理加速。它不涉及模型改结构,不涉及额外训练,是部署层面最常见也最直接的优化。几乎所有商用推理服务——从 OpenAI 的 API 到本地运行的 Llama.cpp——都在用。


2. K 和 V 从哪来

模型处理文字的第一步是把文字切成 token。每一个 token 进入 Transformer 的一层后,该层会为它算出一组 Q(Query)、K、V。Q 和当前的 token 绑定,K 和 V 则分别扮演两种角色:K 像索引线索,帮模型定位前文哪个位置相关;V 装着那个位置的可取信息。

场景:模型输出了"猫趴在窗边",正在写下一个 token 时,新 token 的 Q 会和前文每个 token 的 K 做比较,找到最相关的"猫"和"窗边",再从对应的 V 里取出信息。KV Cache 存的就是前文所有 token 的 K 和 V,让新 token 不需要重新翻一遍前文。

每一层、每个 token 都有自己的一份 K 和 V。它们实际上是一排排数字——向量。层数越多、token 越长,累积的 K、V 就越多。理解 KV Cache 时,先记住"K 帮模型找位置,V 带回那个位置的信息"就够用了。


3. 关掉缓存的代价:重复计算

没有 KV Cache 的情况很容易理解:模型每生成一个 token,就要把输入连同已输出部分全部重新过一遍。

假设用户输入了 5 个 token,模型要输出 4 个 token。关闭缓存时:第 1 步处理 5 个 token,第 2 步处理 6 个,第 3 步处理 7 个,第 4 步处理 8 个。到第 4 步时,前 7 个 token 已经被算了 3 遍以上。回答越长,重复计算的比例越大。

开启缓存后,生成阶段的流程变成两段:Prefill(预填充)——把用户输入一次算完,K 和 V 全部存下来;Decode(逐步生成)——每步只看新进来的那一个 token,算它的 K、V,然后从缓存中取出前文的 K、V 做注意力计算。先前的 token 不需要重新计算。

关闭缓存时,每一步要算的 token 数 = 输入长度 + 已生成长度。开启缓存后,Prefill 算一次,Decode 每步只算 1 个 token。

4. 缓存怎样增长

KV Cache 的占用不是固定的,它在生成过程中逐 token 增长。每生成一个新 token,模型的每一层都要为它追加一份 K 和一份 V。因此 KV Cache 的总大小 = 层数 × 已处理 token 数 × 每层每 token 的 K+V 数据量 × 每个数字的字节数。

这个增长规律意味着:输入越长或输出越长,缓存越大。长上下文场景——比如把整本书交给模型分析——KV Cache 可以占到显卡显存的大头。这也解释了为什么长对话和长文档处理在推理时对显存的要求远高于短文本。

示意:一台 24 GB 显存的 GPU,运行一个 32 层的 7B 模型,处理 8 个并发的 8K token 对话时,仅 KV Cache 就可能占去 10-15 GB。模型参数、临时计算还要另外占空间。

5. 省下多少计算

KV Cache 能省多少,取决于输入长度和输出长度的比例。输入越长,Prefill 阶段的计算量越大;输出越长,Decode 阶段省下的重复计算越多。

一个粗略的估算:输入 N 个 token,输出 M 个 token。关闭缓存时,总计算量与 N × M + M²/2 成正比。开启缓存后,Prefill 算 N 个 token,Decode 算 M 个 token,总量与 N + M 成正比。当 M 和 N 都很大时,加速比接近 M 倍。

不过这套计算只反映重复处理 token 的工作量。真实推理速度还会受模型结构、硬件带宽、批处理大小等因素影响。KV Cache 解决的是"重复算前文"这一部分,对 Decode 阶段的时延改善尤其明显。


6. 显存压力

KV Cache 以空间换时间——它省了计算,但占了显存。在服务端推理场景中,显存往往是比算力更稀缺的资源。KV Cache 的显存压力来自四个维度:

  • 序列长度:每个新 token 都要在每一层追加数据,对话越长,缓存越大。
  • 模型层数:层数越多,每 token 留的 K、V 就越多。同代模型中,大模型的层数通常更多。
  • 并发请求数:多个请求同时生成时,各存各的缓存,总占用线性叠加。并发量大时缓存是显存消耗大头。
  • 数值精度:每个 K/V 数字用多少字节存。FP16 用 2 字节,INT8 用 1 字节。精度越低,缓存越小,但可能影响生成质量。

这也是"长对话 vs 大并发"之间的矛盾根源。单看一个请求,缓存还算可控;几十上百个请求同时运行,显存会迅速填满。推理服务因此做了大量缓存管理的工作——分配、回收、压缩、甚至把部分缓存搬出显存。


7. 优化手段:让缓存更省空间

KV Cache 是优化推理吞吐的核心发力点。业界已经积累了几类行之有效的方案。

手段一

多查询注意力(MQA)与分组查询注意力(GQA)

标准多头注意力中,每个注意力头有自己的 K 和 V。MQA 让所有查询头共享同一组 K 和 V,GQA 则折中——将查询头分组,每组共享一套 K/V。这直接缩小了每 token 留下的缓存量。LLaMA 2 70B 用 GQA,相比全多头注意力减少约 50% 的 KV Cache 占用。MQA 和 GQA 是在模型架构阶段就要做好的设计,没法事后再改。

手段二

滑动窗口

缓存超过一定长度后,丢弃最旧的 token 的 K/V,只保留最近的一段。这限定了缓存最大值,但代价是模型失去了对超长距离前文的直接访问。Sliding Window Attention 在 Mistral 等模型中已经得到应用。

手段三

缓存量化

把 cache 中的数字从 FP16(2 字节)压缩到 INT8(1 字节)甚至 FP4(0.5 字节)。缓存量化的挑战在于精度损失累积——K、V 在模型各层之间传递,量化误差会被后续注意力计算放大。好在实际工程中,INT8 KV Cache 对生成质量的损失通常很小。

手段四

缓存卸载与 PagedAttention

显存不够时,把部分缓存搬到普通内存(CPU RAM),需要时再搬回来。代价是搬运会增加时延。PagedAttention 把缓存切成小块按需分配,解决碎片和浪费问题。它在 vLLM 等项目中被广泛采用,大幅提升了多请求并发时的缓存利用率。

缓存优化没有银弹。常用的组合是:GQA 从结构上减量 + 量化进一步压缩 + PagedAttention 管理分配 + 必要时 offload 兜底。

8. KV Cache 与相关概念

KV Cache 不是孤立的。它和下面几个概念紧密关联,相互配合构成了推理优化的完整拼图。

  • 多查询注意力(MQA)和分组查询注意力(GQA):从模型结构上减少 KV Cache 的数据量,属于"架构级减负"。
  • 连续批处理:让多个请求动态地在 GPU 上交替运行。每个请求的 KV Cache 独立存在,批处理负责调度它们进 GPU,让 GPU 始终算满。
  • 投机解码:用小模型先草稿一批候选 token,大模型一次性验证。KV Cache 保证了小模型和大模型的 cache 都能接续,不因为验证而重新计算。
  • 模型推理:KV Cache 嵌入在推理流程的 Decode 阶段。Prefill、Decode、批处理调度共同组成推理引擎,KV Cache 是其中承上启下的储存环节。
  • 提示缓存:与 KV Cache 互补——KV Cache 复用一个请求内的前文计算,Prompt Cache 复用多个请求之间相同开头的计算。

9. 核心要点

KV Cache 是 Transformer 推理优化的基础设施。它不做花哨的修改,只是记住已经算过的结果。

  • 它节省的是生成阶段的重复计算,代价是占用显存。
  • 大小与层数、token 数、并发数、数值精度四个因素成正比。
  • GQA/MQA 从架构上减量,量化进一步压缩,PagedAttention 优化分配。
  • 长对话和大并发的矛盾,是 KV Cache 管理要解决的核心工程问题。
参考资料
  1. Vaswani et al., "Attention Is All You Need", NeurIPS 2017. arXiv:1706.03762
  2. Pope et al., "Efficiently Scaling Transformer Inference", MLSys 2023. arXiv:2211.05102
  3. Kwon et al., "Efficient Memory Management for Large Language Model Serving with PagedAttention", SOSP 2023. arXiv:2309.06180
  4. Ainslie et al., "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints", EMNLP 2023. arXiv:2305.13245
  5. Shazeer, "Fast Transformer Decoding: One Write-Head is All You Need", 2019. arXiv:1911.02150
概念解析 · 人工智能ABC