大语言模型

概念解析——结构化输出

结构化输出(Structured Output)是指让大语言模型按照预定义格式——通常是 JSON——来生成回答,而不是自由文本。目的不是让文字更漂亮,而是让程序能稳定读取结果。自由文本给人看很好,但机器需要固定的形状才能可靠地自动处理。


1. 什么是结构化输出

一个正常的模型回答长这样:"这件商品售价 129 元,目前有库存。"人一眼就懂了。但程序要从中提取"价格"和"库存状态",就得先理解这句话的结构——很可能用正则表达式去匹配,或者用另一套 NLP 来解析。万一模型换了一种说法("库存还有货,128 元"),提取逻辑就断了。

结构化输出换了一个思路:不是你从文字里自己提取信息,而是模型直接把信息填进一个固定形状的框里。

对比:
自由文本:"这件商品售价 129 元,目前有库存。"
结构化输出:{"name": "帆布包", "price": 129, "in_stock": true}
后者不需要解析 —— 程序直接读 obj.price 就拿到价格。

结构化输出的形式不限于 JSON。XML、YAML、甚至纯 CSV 都可以。但 JSON 是当前事实标准——几乎所有大模型 API 都把 JSON 作为结构化输出的首选格式。

结构化输出不是让模型会写 JSON——大模型本来就会写。真正的改进是约束模型在生成时就遵守格式规则,而不是生成完了再检查。

2. 为什么需要

聊天场景不需要结构化输出。但一旦模型接入程序管线,情况就不一样了。程序调用模型不是为了看一段漂亮文字,而是要拿到数据去驱动下一步逻辑——下单、查询数据库、更新界面。这些操作要求输入数据格式稳定、字段齐全、类型正确。

三个典型场景:

数据提取。从一段客户评价里提取:商品名、评分、退换货意向。程序把这三个字段存入数据库,不用人手工整理。

API 编排。模型决定要调用天气查询工具,它需要输出函数名和参数——{"tool": "get_weather", "args": {"city": "北京"}},然后程序用这个结构去执行真实 API。

批量处理。每月有上千条用户反馈需要归类。每条反馈都输出统一的 JSON 格式,下游做统计、可视化、建看板就方便了。

这三个场景的共性:下游是个程序,不是人。格式一旦不统一,整条管线就断了。


3. 光靠提示词约束不够

最直接的办法是在提示词里写一句"请返回 JSON"。这确实有效——多数时候模型会照做。但问题在于这不是一个保证,只是一个要求。以下几种情况,提示词思路就撑不住了:

常见翻车:
多说一句——"好的,结果如下:{"name": "帆布包", "price": 129}"。前面多了文字,JSON 解析器会报错。
类型写错——price 字段本应是数字,模型给了"一百二十九元"(字符串)。
漏掉字段——只返回了 name,缺少程序期待的 price 和 in_stock。

提示词只是模型输入端的一段文字,它没有强制检查机制。模型在生成每个 token 时,并不知道自己正在破坏 JSON 结构。它只是在"猜下一个字"——碰巧猜对了就对了,猜错了也没人拦着。

要真正保障输出格式,需要把格式规则从"写在提示词里"变成"嵌入生成过程"。


4. Schema —— 规则清单

Schema 是一份机器可读的格式说明书。它不写"请返回 JSON",而是明确定义:能写什么字段、每个字段的类型是什么、哪些字段必须出现、能不能出现额外字段。

JSON Schema 是目前最通用的写法。它本身就是一个 JSON 对象,模型和程序都能解读。

一个商品信息 Schema:
{
  "type": "object",
  "properties": {
    "name": { "type": "string" },
    "price": { "type": "number" },
    "in_stock": { "type": "boolean" }
  },
  "required": ["name", "price"],
  "additionalProperties": false
}
这个 Schema 告诉模型:结果必须是 JSON 对象,包含 name(字符串)、price(数字)两个必填字段,还可以选填 in_stock(布尔值),不允许出现没列出的字段。

Schema 的作用是事前约定——在模型开始生成之前,就把"什么是合法输出"定义清楚。模型生成过程受到约束,而不是生成了再检查。


5. 约束解码 —— 生成时就拦住错误

理解约束解码(Constrained Decoding)的关键在于搞清楚模型是怎么"写"东西的。大模型逐 token 生成——每步从词表里选一个 token 接在已写内容后面。如果没有约束,词表里所有 token(几万到几十万个)都是候选。约束解码就是在每步生成时,把一部分不合规的 token 从候选名单里删掉。

约束解码示例:
假设 Schema 规定 price 是 number 类型。模型已经写到了 {"name": "帆布包", "price":
这一步,词表里包含 `"`、`1`、`"文字"`、`true` 等无数 token。但因为 Schema 说这里必须是 number,
字符串 token(`"` 开头)、布尔值 token(`true`)全部被屏蔽,
候选池只剩下数字 token:`0` `1` `2` ... `129` ... `999`。模型只能从数字里选。

约束解码有两类主流实现:

基于正则 / 语法。把 JSON Schema 转换成正则表达式或上下文无关文法(CFG)。模型每生成一步,用自动机判断哪些 token 能匹配语法规则。代表实现:lm-format-enforcer、XGrammar(llama.cpp 集成)。

基于拦截 / 掩码。在模型推理的 logits 阶段(选 token 之前),用一个拦截器根据当前上下文和 Schema 生成一个掩码,把不会被 Schema 接受的 token 的概率设为零。代表实现:Outlines、JSONformer。

两种做法都能严格保证输出符合 Schema。关键区别在于性能和集成难度:基于正则的通用性强,基于掩码的更容易嵌入现有推理管线。

约束解码是在生成过程的每一层都做检查,不是最后来一波验收。它从根本上消除了输出格式错误,前提是约束定义得足够精确。

6. JSON Mode 与 Function Calling

当前主流 API 提供了三种约束强度,从前到后依次递进:

提示词要求

最弱的约束

只在系统提示词里写"请返回 JSON"。适合给人看的一次性回答,偶尔用用。模型可能夹带说明文字、漏字段、写错类型。生产环境基本不推荐。

JSON Mode

保证合法 JSON,不保证字段结构

OpenAI、Anthropic、Google Gemini 等 API 都提供了响应格式参数,设为 json_object 或 json 即可。JSON Mode 能保证模型输出是一段合法、完整的 JSON——不会中间断了或多加说明。但它不保证 JSON 里有你想要的字段。可能少了字段,多了额外字段,类型也不一定对。适合只要"能解析"就够的场景。

Structured Outputs / JSON Schema

最强的约束

调用时传入完整 JSON Schema,API 保证模型输出完全符合 Schema 定义——字段、类型、必填项、禁止额外字段,全在生成过程中强制落实。如果模型无法满足(比如要求模型回答一个它不知道的事实),API 会返回拒绝(refusal)而不是输出不合格的结构。OpenAI 的 Structured Outputs 功能、Anthropic 的 tools 参数中定义 Schema 都属于这一档。

Function Calling(函数调用)和结构化输出的关系比较特别。Function Calling 是让模型输出一个函数调用的描述——函数名、参数——而不是直接输出最终回答。它的参数也遵循 Schema 约束,相当于借用了结构化输出的底层能力去生成工具调用参数。区别在于最终用途:结构化输出是给程序读数据,Function Calling 是让程序去调用工具。

JSON Mode 保证语法,Schema 保证语义结构。两者差别就像"能写出中文句子"和"写的句子符合合同条款"的差距。

7. 格式正确不等于内容正确

约束解码能保证输出符合 Schema,但 Schema 只是形状约束,不是事实约束。"price 必须是数字"和"price 必须是 129 元"是两回事。前者 Schema 可以管,后者需要业务验证。

一个输出完全符合 Schema,但内容可能是错的:商品名叫"金条"但实际商品是"橡皮擦",价格数字是整数但业务规则不允许超过 9999。这些内容级的问题依赖模型本身的知识和上下文,Schema 管不了。

后处理验证(post-hoc validation)仍然是必要的。结构化输出替换掉的是"检查 JSON 解析是否通过"这部分机械劳动,但"检查内容是否合理"这件事,人也好规则引擎也好,始终得到位。


8. 生产环境还要做什么检查

拿到一份符合 Schema 的 JSON 输出了,不等于可以直接使用。生产级管线至少还要检查以下四件事:

解析错误。即使使用了 Structured Outputs,网络抖动、模型加载异常仍然可能导致响应不完整或乱码。第一步永远是 try/catch 包裹 JSON.parse。

拒绝回答(Refusal)。当模型判断用户请求超出能力范围或违反安全策略时,会输出一个拒绝信号而非正常结果。生产代码需要检测 refusal 字段并做降级处理。

截断(Truncation)。生成达到 token 上限被强制截断,即使使用了约束解码也会被截断在 JSON 结构中间。需要检测输出是否有完整的结束标记(如 } 闭合)。

业务规则校验。Schema 约束了"价格是数字",但业务还要求"价格大于 0"、"商品名不能为空"。这层校验在 Schema 之外单独执行。

生产环境检查清单:
[ ] JSON 能否被解析
[ ] 是否符合 Schema(字段齐全、类型正确)
[ ] 模型是否拒绝回答
[ ] 输出是否被截断
[ ] 数值是否满足业务规则(价格在合理区间、日期有效等)

9. 工具与库

在 API 以外,开源社区提供了多套结构化输出工具,适用于本地模型或自定义管线:

Outlines(Python)是目前最成熟的开源库。支持 JSON Schema、正则表达式、Pydantic 模型等多种约束方式,能对接 HuggingFace Transformers、vLLM、Llama.cpp 等主流推理引擎。它的工作方式是在模型推理时动态生成 logit 掩码,把不合规 token 屏蔽掉。

LMQL(Python)不只是一个结构化输出库,而是一套独立的提示语言。用户在 LMQL 脚本里声明输出约束(比如 [json] 或 [regex(...)]),LMQL 在编译时把这些约束转换为底层的约束解码逻辑。它同时支持约束解码和分支搜索(beam search),适合对输出质量有更高要求的场景。

JSONformer(Python)是早期的约束解码实现,专注于 JSON Schema。功能不如 Outlines 全面,但代码简洁,适合学习约束解码的工作原理。

XGrammar(C++ / Python)是 llama.cpp 生态中的结构化输出方案,把 JSON Schema 编译成上下文无关文法,基于自动机做实时 token 过滤。性能好,适合本地部署场景。

另外,主流推理框架也把结构化输出作为核心功能:vLLM 原生支持 guided_json 和 guided_regex 参数;Llama.cpp 通过 --grammar 指定文法文件;Ollama 提供了 format: json 选项。选哪个取决于推理引擎——尽量选引擎自带的方案,避免再套一层库引入额外开销。


10. 相邻概念

结构化输出不是一个孤立功能。它和其他几个概念紧密相关:

概念解析 · 人工智能ABC