大语言模型
概念解析——连续批处理
连续批处理(Continuous Batching)是大模型推理服务中最重要的吞吐优化技术之一。它改变了批处理的调度粒度——从"整批等齐再跑"变成"每轮动态补位",让 GPU 几乎一直有事做,不会因为回答长短不齐而空转。
1. 问题的起点:固定批处理为什么浪费
大模型推理服务的核心矛盾很简单:GPU 算力很贵,要让它尽量满负荷运转。最直接的办法是把多个请求打包成一批同时处理——批处理(Batching)。如果一批 8 个请求同时进来,GPU 并行处理 8 份,单位时间产出接近线性增加。
但有一个问题:每个请求的生成长度不一样。有人问"今天天气怎么样",模型写 2 个 token 就答完了;有人问"帮我写一篇 800 字作文",要写几百个 token。在固定批处理(Static Batching / Fixed Batching)模式下,模型等整批所有请求全部生成完毕才释放这批资源。先写完的请求占着位置空转,直到最慢的那一个结束。
更糟的是,固定批处理通常会在服务端等够一定数量的请求或超时后才统一启动,这个凑批过程本身就会引入额外延迟。
2. 连续批处理:每轮重新调度
连续批处理(Continuous Batching,也叫 Iteration-level Batching 或 Dynamic Batching)改变了调度粒度。它不在请求级别决定谁跑谁等,而是在每一轮生成(iteration)结束后重新看队伍:完成的请求马上离场,等待队列里的新请求立即补位。
2022 年 OSDI 会议上发表的 Orca 论文首次系统阐述了这一思路1。Orca 观察到:大模型推理的生成阶段是逐 token 进行的,每生成一个 token 就是一次前向传播。如果每次前向传播都重新调度一次,就能让 GPU 始终处理尽可能多的请求。
空位不等闲
还是前面 3 个请求的例子:B 在第 2 轮完成,如果此时有新请求 D 在等待,调度器在第 3 轮直接把 D 放进 B 的槽位。GPU 不再有空转轮次。请求越多、长短差越大,动态补位的收益越明显。
固定批处理 vs 连续批处理
固定批处理像一班按时发车的公交——到点就走,不管车上有没有空座,半路也不能上人。连续批处理更像出租车随叫随到——一个乘客下车,下一个马上上车,车始终在路上跑。从这个类比就能看出:请求到达越分散、生成长度差异越大,连续批处理的优势越突出。
3. 逐轮调度:iteration-level batching 的运作细节
理解连续批处理需要先理解大模型推理的生成过程。模型生成回答时,每步只输出一个 token,这个 token 拼到已有序列后作为下一步的输入,重复直到遇到结束标记。一个请求的完整生成过程包含若干轮(iterations)。
逐轮调度就是在每轮生成结束后插入一个调度点。调度器在这个点做三件事:
- 检查完成:哪些请求在本轮生成了结束 token 或达到最大长度——标记为完成,回收槽位。
- 检查新请求:等待队列中是否有请求可以放入回收的槽位——按到达顺序或优先级挑选。
- 整理 KV Cache:被移出请求的 KV Cache 释放;新加入请求需要计算 prefilled 阶段的 KV Cache。
调度点本身也有开销,但相对于一次前向传播(毫秒级)来说微乎其微。关键在于调度点的选择时机:
- 同步调度:所有请求完成一轮后才统一调度,实现简单但仍有少量空转。
- 异步调度(selective batching):发现某个槽位空闲就立即触发调度,不需要等整轮结束。更激进,实现也更复杂。
4. 连续批处理与 KV Cache 的关联
连续批处理带来了一个必须解决的问题:KV Cache 管理。
KV Cache 是 Transformer 推理时缓存历史 Key 和 Value 张量的技术。每个请求在生成过程中累积自己的 KV Cache,后续 token 生成时不需要重算前面的注意力2。请求数越多、生成长度越长,KV Cache 占用的显存就越大。
在固定批处理下,KV Cache 管理相对简单:一批请求同时开始、同时结束,显存一次性分配、一次性释放。连续批处理打破了这种整齐划一:
- 请求进出时间不同:新请求加入时需要从零分配 KV Cache 空间;完成请求离开时需要回收。
- 生成长度动态变化:无法提前预知每个请求最终会写多长,也就无法一次性分配固定大小的 KV Cache。
- 显存碎片化:频繁分配和释放不同大小的 KV Cache 块,会导致显存内部碎片,甚至触发 Out-of-Memory。
可以说:没有好的 KV Cache 管理方案,连续批处理就推不高并发度。这两个技术互为前提。
5. vLLM 与 PagedAttention:让 KV Cache 动起来
2023 年 UC Berkeley 发表的 vLLM 项目3把 KV Cache 管理往前推了一大步。它的核心创新是 PagedAttention——受操作系统虚拟内存的分页机制启发,把每个请求的 KV Cache 切成固定大小的"页"(page),不再为每个请求分配一整块连续显存。
这个设计对连续批处理有双重意义:
- 消除内部碎片:KV Cache 以固定大小的页为单位分配,不会因为请求长度不同而浪费显存。接近零碎片。
- 共享重复内容:同一个系统提示词(system prompt)被多个请求共享时,它们的 KV Cache 页可以指向同一块物理显存——Copy-on-Write 写入时复制,进一步降低显存占用。
vLLM 用这套机制把并发数推高了一个数量级。在同样的显存预算下,vLLM 能同时处理的请求数远多于传统的连续批处理实现。这也是为什么 vLLM 成了当前最流行的大模型推理服务框架之一。
PagedAttention:每个 KV Cache 页固定存 4 或 8 个 token 的 KV。A 占 2 页,B 占 1 页。页之间不要求物理连续,和虚拟内存一样按需分配。碎片趋近于零。
6. 对推理吞吐的影响与权衡
连续批处理对推理吞吐的提升是显著的。业界公开的基准测试数据显示:相比固定批处理,连续批处理通常能将吞吐量提升 2-4 倍,具体取决于请求到达模式、生成长度分布和硬件配置1。
但连续批处理不是没有代价:
- 尾延迟(tail latency)增加:连续批处理让新请求能插队进入正在运行的批次,这对吞吐有利,但对已经在运行的长请求来说,它们要跟更多请求争夺计算资源。如果同时处理 32 个请求,单个请求的完成时间会比独享 GPU 时更慢。
- 调度开销:每轮都做调度决策,虽然单次开销不大,但积累下来仍有一定影响。极端情况下,如果每个请求都只有 1 个 token 长,调度器可能比 GPU 还忙。
- 公平性问题:先来先服务、短请求优先、公平调度——不同的调度策略会影响不同用户的体验。服务端需要根据 SLO(Service Level Objective)选择合适的策略。
- 显存压力:连续批处理鼓励尽可能多地并发请求,但并发越多,KV Cache 总占用量越大。显存成为瓶颈时,吞吐反而会骤降。
7. 相邻概念
连续批处理不是一个孤立技术。它处于推理优化链路的中段,前后都有紧密相关的概念:
- KV Cache:连续批处理能否跑起来,取决于 KV Cache 管理是否高效。两者互为前提。
- 模型推理:连续批处理解决的正是推理服务的吞吐问题。理解推理的 Prefill 和 Decode 两个阶段是理解批处理的基础。
- 模型部署:连续批处理是生产环境中部署大模型的标准配置,与显存管理、弹性伸缩紧密相关。
- 投机解码:另一种推理加速技术,从"减少生成轮次"角度优化,与连续批处理可以叠加使用。
- 大语言模型(LLM):连续批处理的应用对象。理解大模型的生成方式是理解批处理的前提。
参考资料
- Yu, G.-I., et al. "Orca: A Distributed Serving System for Transformer-Based Generative Models." OSDI 2022.
- Pope, R., et al. "Efficiently Scaling Transformer Inference." MLSys 2023.
- Kwon, W., et al. "Efficient Memory Management for Large Language Model Serving with PagedAttention." SOSP 2023.
- Zhong, Y., et al. "Dynamic SplitFuse: Continuous Batching with Adaptive Prefill-Decode Ratios." 2024.