大语言模型
概念解析——结构化输出
结构化输出(Structured Output)是指让大语言模型按照预定义格式——通常是 JSON——来生成回答,而不是自由文本。目的不是让文字更漂亮,而是让程序能稳定读取结果。自由文本给人看很好,但机器需要固定的形状才能可靠地自动处理。
1. 什么是结构化输出
一个正常的模型回答长这样:
结构化输出换了一个思路:不是你从文字里自己提取信息,而是模型直接把信息填进一个固定形状的框里。
自由文本:"这件商品售价 129 元,目前有库存。"
结构化输出:
{"name": "帆布包", "price": 129, "in_stock": true}后者不需要解析 —— 程序直接读
obj.price 就拿到价格。
结构化输出的形式不限于 JSON。XML、YAML、甚至纯 CSV 都可以。但 JSON 是当前事实标准——几乎所有大模型 API 都把 JSON 作为结构化输出的首选格式。
2. 为什么需要
聊天场景不需要结构化输出。但一旦模型接入程序管线,情况就不一样了。程序调用模型不是为了看一段漂亮文字,而是要拿到数据去驱动下一步逻辑——下单、查询数据库、更新界面。这些操作要求输入数据格式稳定、字段齐全、类型正确。
三个典型场景:
数据提取。从一段客户评价里提取:商品名、评分、退换货意向。程序把这三个字段存入数据库,不用人手工整理。
API 编排。模型决定要调用天气查询工具,它需要输出函数名和参数——{"tool": "get_weather", "args": {"city": "北京"}},然后程序用这个结构去执行真实 API。
批量处理。每月有上千条用户反馈需要归类。每条反馈都输出统一的 JSON 格式,下游做统计、可视化、建看板就方便了。
这三个场景的共性:下游是个程序,不是人。格式一旦不统一,整条管线就断了。
3. 光靠提示词约束不够
最直接的办法是在提示词里写一句"请返回 JSON"。这确实有效——多数时候模型会照做。但问题在于这不是一个保证,只是一个要求。以下几种情况,提示词思路就撑不住了:
多说一句——"好的,结果如下:{"name": "帆布包", "price": 129}"。前面多了文字,JSON 解析器会报错。
类型写错——price 字段本应是数字,模型给了"一百二十九元"(字符串)。
漏掉字段——只返回了 name,缺少程序期待的 price 和 in_stock。
提示词只是模型输入端的一段文字,它没有强制检查机制。模型在生成每个 token 时,并不知道自己正在破坏 JSON 结构。它只是在"猜下一个字"——碰巧猜对了就对了,猜错了也没人拦着。
要真正保障输出格式,需要把格式规则从"写在提示词里"变成"嵌入生成过程"。
4. Schema —— 规则清单
Schema 是一份机器可读的格式说明书。它不写"请返回 JSON",而是明确定义:能写什么字段、每个字段的类型是什么、哪些字段必须出现、能不能出现额外字段。
JSON Schema 是目前最通用的写法。它本身就是一个 JSON 对象,模型和程序都能解读。
{
"type": "object",
"properties": {
"name": { "type": "string" },
"price": { "type": "number" },
"in_stock": { "type": "boolean" }
},
"required": ["name", "price"],
"additionalProperties": false
}
这个 Schema 告诉模型:结果必须是 JSON 对象,包含 name(字符串)、price(数字)两个必填字段,还可以选填 in_stock(布尔值),不允许出现没列出的字段。
Schema 的作用是
5. 约束解码 —— 生成时就拦住错误
理解约束解码(Constrained Decoding)的关键在于搞清楚模型是怎么"写"东西的。大模型逐 token 生成——每步从词表里选一个 token 接在已写内容后面。如果没有约束,词表里所有 token(几万到几十万个)都是候选。约束解码就是在每步生成时,把一部分不合规的 token 从候选名单里删掉。
假设 Schema 规定 price 是 number 类型。模型已经写到了
{"name": "帆布包", "price":这一步,词表里包含 `"`、`1`、`"文字"`、`true` 等无数 token。但因为 Schema 说这里必须是 number,
字符串 token(`"` 开头)、布尔值 token(`true`)全部被屏蔽,
候选池只剩下数字 token:`0` `1` `2` ... `129` ... `999`。模型只能从数字里选。
约束解码有两类主流实现:
基于正则 / 语法。把 JSON Schema 转换成正则表达式或上下文无关文法(CFG)。模型每生成一步,用自动机判断哪些 token 能匹配语法规则。代表实现:lm-format-enforcer、XGrammar(llama.cpp 集成)。
基于拦截 / 掩码。在模型推理的 logits 阶段(选 token 之前),用一个拦截器根据当前上下文和 Schema 生成一个掩码,把不会被 Schema 接受的 token 的概率设为零。代表实现:Outlines、JSONformer。
两种做法都能严格保证输出符合 Schema。关键区别在于性能和集成难度:基于正则的通用性强,基于掩码的更容易嵌入现有推理管线。
6. JSON Mode 与 Function Calling
当前主流 API 提供了三种约束强度,从前到后依次递进:
最弱的约束
只在系统提示词里写"请返回 JSON"。适合给人看的一次性回答,偶尔用用。模型可能夹带说明文字、漏字段、写错类型。生产环境基本不推荐。
保证合法 JSON,不保证字段结构
OpenAI、Anthropic、Google Gemini 等 API 都提供了响应格式参数,设为 json_object 或 json 即可。JSON Mode 能保证模型输出是一段合法、完整的 JSON——不会中间断了或多加说明。但它不保证 JSON 里有你想要的字段。可能少了字段,多了额外字段,类型也不一定对。适合只要"能解析"就够的场景。
最强的约束
调用时传入完整 JSON Schema,API 保证模型输出完全符合 Schema 定义——字段、类型、必填项、禁止额外字段,全在生成过程中强制落实。如果模型无法满足(比如要求模型回答一个它不知道的事实),API 会返回拒绝(refusal)而不是输出不合格的结构。OpenAI 的 Structured Outputs 功能、Anthropic 的 tools 参数中定义 Schema 都属于这一档。
Function Calling(函数调用)和结构化输出的关系比较特别。Function Calling 是让模型输出一个函数调用的描述——函数名、参数——而不是直接输出最终回答。它的参数也遵循 Schema 约束,相当于借用了结构化输出的底层能力去生成工具调用参数。区别在于最终用途:结构化输出是给程序读数据,Function Calling 是让程序去调用工具。
7. 格式正确不等于内容正确
约束解码能保证输出符合 Schema,但 Schema 只是形状约束,不是事实约束。"price 必须是数字"和"price 必须是 129 元"是两回事。前者 Schema 可以管,后者需要业务验证。
一个输出完全符合 Schema,但内容可能是错的:商品名叫"金条"但实际商品是"橡皮擦",价格数字是整数但业务规则不允许超过 9999。这些内容级的问题依赖模型本身的知识和上下文,Schema 管不了。
后处理验证(post-hoc validation)仍然是必要的。结构化输出替换掉的是"检查 JSON 解析是否通过"这部分机械劳动,但"检查内容是否合理"这件事,人也好规则引擎也好,始终得到位。
8. 生产环境还要做什么检查
拿到一份符合 Schema 的 JSON 输出了,不等于可以直接使用。生产级管线至少还要检查以下四件事:
解析错误。即使使用了 Structured Outputs,网络抖动、模型加载异常仍然可能导致响应不完整或乱码。第一步永远是 try/catch 包裹 JSON.parse。
拒绝回答(Refusal)。当模型判断用户请求超出能力范围或违反安全策略时,会输出一个拒绝信号而非正常结果。生产代码需要检测 refusal 字段并做降级处理。
截断(Truncation)。生成达到 token 上限被强制截断,即使使用了约束解码也会被截断在 JSON 结构中间。需要检测输出是否有完整的结束标记(如 } 闭合)。
业务规则校验。Schema 约束了"价格是数字",但业务还要求"价格大于 0"、"商品名不能为空"。这层校验在 Schema 之外单独执行。
[ ] JSON 能否被解析
[ ] 是否符合 Schema(字段齐全、类型正确)
[ ] 模型是否拒绝回答
[ ] 输出是否被截断
[ ] 数值是否满足业务规则(价格在合理区间、日期有效等)
9. 工具与库
在 API 以外,开源社区提供了多套结构化输出工具,适用于本地模型或自定义管线:
Outlines(Python)是目前最成熟的开源库。支持 JSON Schema、正则表达式、Pydantic 模型等多种约束方式,能对接 HuggingFace Transformers、vLLM、Llama.cpp 等主流推理引擎。它的工作方式是在模型推理时动态生成 logit 掩码,把不合规 token 屏蔽掉。
LMQL(Python)不只是一个结构化输出库,而是一套独立的提示语言。用户在 LMQL 脚本里声明输出约束(比如 [json] 或 [regex(...)]),LMQL 在编译时把这些约束转换为底层的约束解码逻辑。它同时支持约束解码和分支搜索(beam search),适合对输出质量有更高要求的场景。
JSONformer(Python)是早期的约束解码实现,专注于 JSON Schema。功能不如 Outlines 全面,但代码简洁,适合学习约束解码的工作原理。
XGrammar(C++ / Python)是 llama.cpp 生态中的结构化输出方案,把 JSON Schema 编译成上下文无关文法,基于自动机做实时 token 过滤。性能好,适合本地部署场景。
另外,主流推理框架也把结构化输出作为核心功能:vLLM 原生支持 guided_json 和 guided_regex 参数;Llama.cpp 通过 --grammar 指定文法文件;Ollama 提供了 format: json 选项。选哪个取决于推理引擎——尽量选引擎自带的方案,避免再套一层库引入额外开销。
10. 相邻概念
结构化输出不是一个孤立功能。它和其他几个概念紧密相关:
- 概念解析——函数调用(Function Calling)——借用结构化输出能力来约束工具调用参数,是最直接的上游场景。
- 概念解析——提示词(Prompt)——结构化输出是对提示词约束的增强。理解提示词的工作原理,才能理解约束解码弥补了什么。
- 概念解析——MCP 模型上下文协议——MCP 协议层规定了工具返回数据的格式,结构化输出保证了模型侧能按要求生成这些格式。
- 概念解析——AI Agent——Agent 系统中模型的每次工具调用都依赖结构化输出。没有它,Agent 的决策循环就无法稳定执行。