大语言模型
概念解析——提示缓存
每次用 AI 时,你输入的提示词(尤其是长长的系统指令和上下文)都要重新计算一遍——这既耗时又烧钱。提示缓存(Prompt Caching)把重复出现的部分存起来,下次再用就直接读取,不用重新算。成本降到原来的几分之一,速度翻倍。
1. 它解决什么问题
理解提示缓存的价值,先要知道大模型是怎么"看"你的提示词的。Transformer 架构在处理输入时,每多一个 token 就要多算一次注意力。如果你发起的每次请求都有大量重复内容——比如一个 2000 token 的系统提示词——那每次请求的前 2000 个 token 都在做一模一样的计算。
在工程上,这叫"前缀冗余"。如果你是个人用户,偶尔用几次感觉不到。但如果你是开发者,AI 应用每天处理百万次请求,这种重复计算的浪费就非常可观了——不仅是 GPU 算力的浪费,还直接转化成延迟和账单。
提示缓存的核心思路就是:既然前一段内容每次都一样,那我把这一段计算结果的中间状态(KV Cache)存起来,下次带上一个缓存 ID,模型直接从缓存开始算后面的内容。
2. 它怎么工作
提示缓存底层依赖的是 Transformer 推理中的 KV Cache 机制。
当模型处理一段文本时,每一层注意力都会计算 Key 和 Value 矩阵——这些矩阵编码了输入中每个 token 的信息。计算一次存储下来,在后续生成过程中反复被读取。KV Cache 原本是"每生成一个 token 就追加一行"的动态缓存,提示缓存把它扩展到了"跨请求共享"。
具体流程:
- 第一次请求:用户发送提示词(假设 3000 token 系统指令 + 100 token 用户问题)。模型正常处理全部 3100 个 token,同时在缓存系统中把前 3000 个 token 的 KV Cache 存下来,打上一个标记(通常是内容的哈希值)。
- 第二次请求:用户发送提示词,其中前 3000 个 token 与之前完全一致,后 100 个 token 不同。模型检测到前缀匹配,直接从缓存加载前 3000 token 的 KV Cache,只计算新的 100 个 token 和后续生成过程。
- 效果:计算量从 3100 token 减少到 100 token——节省约 96%。实际场景中由于缓存管理和验证的开销,通常不会这么理想,但节省 50-80% 是常见的。
开启提示缓存前:每轮请求计算全部 token。
开启提示缓存后:第一次请求正常,后续请求只算用户问题那几十个 token。
首请求延迟 2 秒,后续请求延迟 0.4 秒——5 倍加速。
3. 什么时候最有用
提示缓存不是万能药。它对某些场景效果拔群,对另一些场景则基本没用。
最适合:
- 长系统提示词:Agent 应用往往有几千 token 的系统指令设定角色和工具列表。这些内容在用户每次问话时都重复出现。
- Few-shot 示例:给模型提供固定的输入输出示例模板。示例部分被缓存,只替换实际输入。
- RAG 检索模板:检索到的上下文文档嵌入提示词前缀,用户提问附加在后。如果检索策略固定,前缀可以缓存。
- 多轮对话:历史对话内容复用在新的请求中。但要注意——对话上下文长度不断变化,命中缓存需要做更精细的分段管理。
不太适合:
- 每次提示词的前缀都不一样(比如没有固定系统指令的通用对话)。
- 提示词很短(缓存管理本身的额外开销可能超过节省的计算量)。
- 缓存频繁失效的场景(每几次请求就换一种提示模式)。
4. 主流实现
提示缓存在 2024-2026 年间从"实验特性"变成了"云上标配"。
Anthropic Prompt Caching
Anthropic 在 2024 年率先推出 Prompt Caching 功能,支持在 Messages API 中显式标记缓存点。开发者可以在提示词中用 cache_control 指定哪一部分应该被缓存。Claude 的缓存粒度很细:你可以只缓存系统提示词,不缓存用户消息。缓存有效期通常为 5 分钟(每次命中刷新),适合对话场景。
OpenAI Prompt Caching
OpenAI 在 2024 年下半年跟进,GPT-4o 及后续模型支持自动提示缓存。与 Anthropic 的显式标记不同,OpenAI 的实现是自动检测——如果发现请求的前缀与缓存中的内容匹配,自动命中缓存。开发者不需要修改代码就能获得成本降低。收费模式也更有吸引力:缓存命中时的 token 价格降低 50%。
Google Context Caching
Google 推出的 Context Caching 功能类似于提示缓存,但覆盖范围更广——可以缓存完整的对话上下文,包括系统指令和多轮对话。Google 在 2025 年将缓存的有效期延长到了数小时,适合"跨会话上下文共享"场景。缓存命中的价格降低约 75%。
vLLM / SGLang Prefix Caching
在开源推理框架中,这被称为"前缀缓存"(Prefix Caching)。vLLM 和 SGLang 都实现了自动前缀匹配:如果两个请求的前缀 token 序列相同,共享 KV Cache。不需要显式标记,完全自动。不同的是 vLLM 的缓存粒度是 token 级的——逐 token 比较前缀——而 SGLang 做的是 radix tree 风格的前缀树索引。在大量动态前缀的复杂场景下,SGLang 的命中率更高。
5. 缓存命中率优化
提示缓存的效果直接由命中率决定。以下是实践中提高命中率的关键技巧:
- 把动态部分放在最后:所有模型都要求缓存的内容是提示词的"连续前缀"。如果你把用户名字、日期等动态内容放在系统提示词中间,前缀就断了,缓存失效。解决方法是把动态信息放在提示词的最后(紧挨着用户输入)。
- 规范化系统指令:如果你的应用有多个版本的系统提示词,尽量把不变的部分和变的部分分离开。不变的做缓存,变的用拼接方式追加。
- 利用缓存有效期:缓存不是永久的。Anthropic 的缓存约 5 分钟,Google 的更长。如果你的请求频率大于缓存刷新频率,缓存就能持续命中。对于低频应用,缓存可能每次都不命中——那就等于没用。
- 监控命中率:多数平台提供缓存命中的计费日志。监控你的命中率——如果低于 30%,说明你的提示词设计可能有问题,需要重新组织前缀结构。
6. 相邻概念
提示缓存不是孤立概念。你接下来可以顺着这些概念深入:
- KV Cache:提示缓存的技术底层——理解 KV Cache 才能理解缓存了什么、为什么能省算力。
- 提示词:提示缓存优化的对象——提示词的结构决定了缓存能不能命中。
- 系统提示词:提示缓存最主要的受益者——大部分缓存命中来自系统提示词的复用。
- 模型推理:大模型如何跑起来——提示缓存是推理优化的关键技术之一。
- 大语言模型(LLM):提示缓存让 LLM 的规模化部署在经济上变得可行。