基础概念

概念解析——模型部署

模型部署,简单说就是让训练好的模型跑起来对外干活。训练阶段产出的是一堆权重文件——参数文件而已,没人直接拿它用。部署就是把这份"参数文件"加载到推理引擎里,配上硬件、开好接口,让用户发一条请求就能拿到模型算出的回答。


1. 训练是做饭,部署是开饭馆

这个类比不算离谱。训练好比在后厨研究菜谱:试配方、调火候、改调料比例,最终得到一套"最佳做法"。部署就是把这个菜谱拿到饭馆里,备齐灶台厨具、培训服务员、把菜端到客人桌上。客人不在乎你后厨试了多少次配方,只在乎菜端上来有多快、好不好吃。

对应到技术上:训练改模型参数(权重更新),部署不改参数——它只拿参数来算。一次又一次,对每个用户的每个提问都重新算一遍。这个过程叫推理(Inference)。推理比训练更讲究延迟和吞吐,因为用户在线等着。

训练和部署的根本区别:训练改模型,部署用模型。训练看成本,部署看响应——用户等不等得起。

2. 三种部署方式

模型部署没有唯一答案。选什么方式,取决于谁在用、多少人用、预算多少。大致分三类。

方式一

云 API

直接把模型交给云服务商。用户通过 REST API 调用,按 token 付费。OpenAI 的 GPT、Anthropic 的 Claude、Google 的 Gemini 都是这个模式。你也一样——挑一个第三方推理 API,把你自己的模型托管上去。优点是不用管硬件,按用量付费;缺点是数据离开你的控制,长期成本可能比自建高。

方式二

自托管

自己买服务器、装显卡、搭建推理引擎。控制权最大——模型、数据、版本都在自己手里。适合对数据隐私敏感的场景(金融、医疗)、或流量大到不值得按 API 付费的团队。缺点是硬件成本高,而且需要专人维护。vLLM、SGLang、TGI 这类推理框架就是给这个场景准备的。

方式三

端侧 / 本地

把模型直接跑在用户设备上——手机、笔记本、甚至树莓派。完全离线、零延迟、零服务成本。Ollama、llama.cpp、MLX 让这类部署变得可行,Mac mini 跑 70B 模型已经不再是梦话。缺点是模型要做量化压缩(见"相邻概念"中的量化),质量会略有损失,且硬件性能有限,跑不了超大模型。

举个例子:一家教育公司做 AI 作文批改。
初期用云 API 验证产品可行性(几周上线);
流量上来后自建 2 台 H100 服务器跑 vLLM(月成本从 2 万降到 6 千);
手机端再集成一个量化后的小模型做实时拼写纠错(零延迟离线运行)。
三个阶段,三种方式,并行不悖。

3. 部署管线:从权重到服务

不管选哪类方式,模型从训练完成到正式服务,都要走一条管线。大致分四步。

第一步是导出(Export)。训练框架(PyTorch、JAX 等)产出的模型格式,通常不能直接给推理引擎用。需要把权重导出为通用格式——ONNX、OpenVINO、或直接原生的 safetensors 文件。这一步不改变数值,只换容器。

第二步是优化(Optimize)。包含量化(把 FP16 权重压到 INT4/INT8)、剪枝(去掉不重要的连接)、图优化(合并算子减少计算量)。优化的目的是在尽量少损失精度的情况下,把模型体积和推理速度调到最优。

第三步是上线(Serve)。把优化后的模型加载到推理引擎里,挂上 HTTP 服务,对外提供 OpenAI 兼容的 API。这步决定了模型的并发能力——一台 H100 跑 8B 模型,用 Ollama 只能接几个人,换 vLLM 可以直接接几十个人同时问。

第四步是监控(Monitor)。线上的模型不是上了就完事了。延迟(TTFT/TPOT)、吞吐(tokens/s)、显存占用、错误率,每一项都需要实时观测。流量突增时要自动扩容,变慢了要排查瓶颈,模型输出异常要切换版本。


4. 推理引擎:谁在背后撑起服务

推理引擎是模型部署的核心——它负责把模型加载到 GPU 上、处理并发请求、管理显存。不同引擎的设计决策完全不同,选对了事半功倍,选错了卡得难受。

vLLM 是目前工业界应用最广的开源推理引擎。它的招牌技术是 PagedAttention——像操作系统的分页内存管理一样,把 KV cache 切成 16-token 的小块,需要时才分配。传统做法按最大序列长度预先分配一整块显存,实际利用率不到 40%;PagedAttention 把浪费降到 4% 以下,同等硬件能服务 4-10 倍的并发请求。vLLM v1(2025-2026 重写)把 Python 路由瓶颈也解决了,配合连续批处理(Continuous Batching),一块 H100 跑 8B 模型能做到 12000+ tok/s 的吞吐。API 接口完全兼容 OpenAI,迁移成本几乎为零。

SGLang 走的是另一条路。它在 vLLM 的 PagedAttention 基础上,加了一个叫 RadixAttention 的优化:把不同请求共享的 prompt 前缀(比如相同的 system prompt)当作字典树来管,共享的部分只需要算一次。对多轮聊天、RAG 这类共享前缀很长的场景,吞吐能再高 6.4 倍。结构化输出(JSON / function call)也比 vLLM 快 3-10 倍。xAI 的 Grok 3 和 Microsoft Azure 的 DeepSeek R1 都在用。在同卡同模型前提下,SGLang 的吞吐比 vLLM 高约 29%,首字延迟低 23%。

Ollama 正好站在光谱的另一端——把部署简化到了极致。一条 ollama run 命令就能下载模型、启动聊天、对外暴露 API。它用 llama.cpp 做后端(macOS 上换 MLX),v0.19 开始 Apple Silicon 性能提升了 93%。Mac mini M4 Pro 48GB 跑 Llama 3.3 70B Q4 能做到 12-14 tok/s,一个人用完全够。但它的并发能力很弱——超过 4 个并发用户,吞吐曲线就几乎躺平了。它适合个人开发、离线体验、Demo,不太适合当成团队上线的主力。

llama.cpp 是纯 C++ 实现,没有 Python 依赖。它的核心贡献是定义了 GGUF 格式——一种把量化后的模型封在单个文件里的格式。Ollama、LM Studio、GPT4All 这些工具底层都用它。CPU、Metal、CUDA、Vulkan 多后端都支持,树莓派也能跑。如果硬件很老、或者想完全离线,llama.cpp 是最稳妥的选择。

TGI(Text Generation Inference) 是 HuggingFace 出品的推理引擎,跟 HuggingFace Hub 深度集成。但 HuggingFace 在 2026 年已宣布进入维护模式,建议新项目迁移到 vLLM。存量部署可以继续用,但新功能不会再有了。

同一个 8B 模型、同一张 H100,Ollama 跑到 90 tok/s 就卡住了,vLLM 能跑到 12000+。差 70 倍——不是模型的问题,是引擎的差距。

5. 三个关键指标

部署上线后,评估服务质量主要看三个数。

延迟(Latency) 拆成两个指标:TTFT(Time to First Token)是用户按回车到看到第一个字的间隔,决定"流式感";TPOT(Time Per Output Token)是流式过程中每个字之间的间隔,决定"打字感"。70B 模型在 2 张 H100 上用 SGLang,TTFT 约 240 ms,TPOT 约 7.9 ms——用户基本感觉不到等。

吞吐(Throughput) 是整个系统每秒能输出多少个 token。多用户场景下,吞吐比单用户延迟更重要。同样是 8B 模型 + 1 张 H100,vLLM 跑 32 并发时总吞吐 12000+ tok/s,每个用户实际感受到的速度(TPOT)反而比单用户高——因为引擎把多个请求的 prefill 和 decode 阶段交错在一起,充分利用了 GPU。

成本(Cost) 是最终约束。GPU 很贵——H100 按小时租约 30-40 美元,买一块将近 3 万美元。成本和吞吐直接相关:同样的吞吐目标,用 SGLang 比用 TGI 可能省一半的卡,也就是省一半的钱。


6. 选型思路

部署选型没有标准答案,但思路可以简化成四个问题:

  • 谁在用? 几个人用和几百万人用,差了两个世界。
  • 什么硬件? 手头有 H100 还是只有 MacBook?
  • 怎么调用? 命令行直问、图形界面、还是程序 API?
  • 什么负载? 单轮聊天、多轮对话、RAG、还是结构化输出?

方向很清楚:个人玩选 Ollama 或 LM Studio;团队上线选 vLLM;多轮共享 prompt 选 SGLang;纯 CPU 或老硬件选 llama.cpp。别拿 Ollama 接 1000 个并发,也别为了一个人用的场景搭 vLLM 集群——重点是把场景和工具对上。


7. 相邻概念

模型部署不是一条死胡同。顺着这些概念可以走得更深:

  • 模型推理(Inference):部署的核心动作——模型收到输入、逐 token 生成回答的那套计算过程。
  • 量化(Quantization):把模型权重从 FP16 压到 INT4/INT8,体积砍 4 倍,部署更省显存,是边缘部署的前提。
  • GGUF:llama.cpp 定义的模型文件格式,把量化权重封在一个文件里,本地部署的事实标准。
  • ONNX:跨框架的模型交换格式,训练后导出为 ONNX,再转给不同推理引擎用,在工业界很常见。
  • 连续批处理(Continuous Batching):请求谁先算完谁先走,新请求立刻补上,GPU 不闲着——和 PagedAttention 一起组成现代推理引擎的两大支柱。