大语言模型

概念解析——T5

T5 是 Google 在 2019 年提出的统一文本框架,全称 Text-to-Text Transfer Transformer。它的核心主张极其简单:所有 NLP 任务——翻译、摘要、分类、问答、实体抽取——都应该用同一种方式处理:文字进,文字出。


1. 什么是 T5

2019 年之前的做法是:每个 NLP 任务造一个专用模型。翻译用 seq2seq,分类用 BERT 加一个分类头,实体抽取用序列标注头。每个任务的模型结构、输出格式、损失函数都不同。换个任务就得重新设计模型头部。

T5 的 paper《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》(arXiv:1910.10683)把这一切推平了。它在每段输入前面加一个任务前缀——translate English to German:、summarize:、cola sentence:——然后模型统一输出字符串。判断语法正确性输出字符串 acceptable,句对相似度输出字符串 4.2,连浮点数都当字符串生成。

T5 的核心洞察:只要把任务说明写进输入字符串,一个 encoder-decoder 模型可以学会所有 NLP 任务,而不需要为每个任务修改模型架构。

论文实验了 5 个尺寸:Small(60M 参数)、Base(220M)、Large(770M)、3B、11B。11B 版本在 GLUE、SuperGLUE、SQuAD、CNN/DailyMail 摘要等多项基准上取得了当时的 SOTA。但 T5 的意义不在刷榜,而在它证实了一条路:统一的 text-to-text 范式的确走得通。

示例:同样是情感分类——
BERT 做法:输入 [CLS] 句子 [SEP],取 [CLS] 向量过分类头。
T5 做法:输入 sst2 sentence: 这家店不错。,输出字符串 positive。
区别:BERT 换了任务就要换头部,T5 什么都不用换。

2. C4 数据集

T5 能成功,一半功劳要给它的训练数据。Google 从 Common Crawl 的每个月网页快照中清洗出一个 750 GB 的英文纯文本语料,取名 C4(Colossal Clean Crawled Corpus)。清洗规则包括:只保留英文页面、去重、去噪(删掉代码、列表、脏话)、用 langdetect 过滤非英文内容、删掉包含占位符的页面。

C4 比此前常用的 Wikipedia + Books 语料大一个数量级。BERT 的训练数据约 16 GB,GPT-2 约 40 GB,T5 的 C4 是 750 GB。这道出了 T5 的核心方法论:大规模预训练 + 统一框架 = 足够好的迁移学习。

C4 后来成了 NLP 预训练的标准语料之一,被 mT5(多语言版 C4)、T5.1.1、UL2 等后继模型广泛沿用。直到 2026 年,它仍是开源 seq2seq 模型最常用的预训练数据源。


3. 预训练:Span Corruption

T5 的预训练目标和 BERT 不一样。BERT 做的是 Masked Language Model——随机盖住单个 token,让模型猜。T5 用的是 span corruption:随机扣掉一段连续的 token(平均长度 3 个 token,扣掉 15%),用特殊的哨兵符(sentinel token,写成 <X>、<Y>、<Z>……)替换。模型的任务是:encoder 读带哨兵符的损坏句子,decoder 逐段还原被扣掉的内容。

关键区别在于:BERT 只预测单个 mask 位置,T5 的 decoder 要生成一整段被扣掉的文字。这意味着 T5 在预训练阶段就在练习生成连贯文本,而 BERT 只学会了理解。

示例:源句 "Thank you for inviting me to your party."
扣掉 "for inviting me" 和 "party" 两段 → encoder 读 "Thank you <X> to your <Y>."
decoder 目标:输出 "<X> for inviting me <Y> party </s>"
注意:decoder 不还原整句,只还原被扣掉的内容 + sentinel 标记。

论文还做了一组重要实验,对比不同预训练目标(MLM、span corruption、prefix LM、deshuffling 等)。结论:span corruption 在绝大多数下游任务上最优,且对噪声比例不敏感(10%~25% 表现接近)。15% 噪声 + 平均 span 长度 3 成了最终选定的默认配置。

这是 T5 反直觉的一点:预训练目标不是越复杂越好——span corruption 比 BERT 的 MLM 简单,但效果更好。原因是它迫使模型既理解(encoder)又生成(decoder),而生成恰好是大多数下游任务需要的。

4. 架构:Encoder-Decoder

T5 的架构最接近 2017 年原始 Transformer。它由两部分组成:

Encoder(编码器):用双向注意力一次读完整个输入句子。每个 token 都能看到句子里的所有其他 token,没有任何因果 mask 的限制。Encoder 的输出是一组 hidden states,摆在那里供 decoder 随时查阅。

Decoder(解码器):自回归地逐 token 生成输出。每写一个 token,都做两件事:对自己左边已经写出的 token 做因果自注意力(mask 掉右边未生成的部分),同时对 encoder 的 hidden states 做 cross-attention——回头看源句的哪里最相关。这就是 encoder-decoder 的精髓:先理解全局,再局部生成。

2026 年的主流大模型几乎全是 decoder-only(GPT、Claude、Gemini、Llama),encoder-decoder 退居二线。但 T5 系的 encoder-decoder 在几个场景仍有不可替代的优势:输入长度远大于输出的任务(长文档摘要)、输出格式必须严格可控的任务(分类标签、信息抽取)、需要双向理解输入的任务。

Google 2025-2026 年推出 T5Gemma 和 T5Gemma 2,把 Gemma 系列的 decoder-only 权重通过 UL2 方法适配回 encoder-decoder,表明 Google 认为这条路还有价值。


5. T5 家族演化

T5 不是一个孤立的模型,它衍生出了一个完整的模型家族:

mT5(2020-10):把 C4 换成多语言 mC4(101 种语言,6.3 T token),词表扩到 250 K,尺寸从 Small(300M)到 XXL(13B)。至今是开源中小型多语言 seq2seq 的主力。

T5.1.1(2020-11):去除预训练阶段的监督任务混合,全程只用 span corruption。激活函数从 ReLU 换成 GeGLU,前馈网络宽度增加 1.5 倍。预训练阶段关闭 dropout。后面的所有 T5 衍生版本(FLAN、UL2、T5Gemma)都基于 T5.1.1。

FLAN-T5(2022-10):在 T5.1.1 基础上用 1,836 个 instruction-tuning 任务继续训练。这是 T5 第一次获得 zero-shot 能力——不給示例也能干活。FLAN-T5-XXL(11B)在 MMLU 上达到 55.1%(同期原版 T5 是 26.7%)。Adobe Sensei、客服路由、PII 检测等生产场景至今在用。

UL2 / Flan-UL2(2022-2023):提出 Mixture-of-Denoisers 训练策略,把三种去噪模式(R-Denoiser 还原、S-Denoiser 续写、X-Denoiser 极端降噪)混在一起训练。证明 encoder-decoder + 多样目标在同等算力下不输 decoder-only。

T5Gemma(2025-07):用 Gemma 2 的预训练权重初始化 encoder 和 decoder,通过 UL2 方法做 adaptation。支持非对称配置(9B encoder + 2B decoder),专吃长输入。

T5Gemma 2(2025-12):基于 Gemma 3,第一个多模态 + 128K 长上下文的 encoder-decoder。引入 tied embeddings(编码器和解码器共享词嵌入)、merged attention。代表 Google 对 encoder-decoder 路线的持续投入。


6. T5 的影响

T5 的影响远超模型本身。它确立的 text-to-text 范式深刻改变了 NLP 的研究方式:

任务前缀成为标准。今天几乎所有指令微调模型(包括 decoder-only 的 LLM)都在输入中加入任务描述。T5 是第一个把这个做法系统化的人。

Instruction Tuning 的先驱。FLAN-T5 是 instruction tuning 的标志性工作之一,直接影响了后来的 InstructGPT、GPT-4、Claude 的对齐训练。今天说的 "微调模型让它学会跟指令" ,根源之一就是 FLAN 的工作。

Scale 实验的标杆。T5 论文包含上百次消融实验:预训练目标、噪声比例、span 长度、模型尺寸、训练步数、数据集规模……每一个设计选择都做了对比。这是 NLP 领域最系统的 scaling 研究之一。

开源生态的基石。Hugging Face 的 T5 系列和 FLAN-T5 至今是下载量最大的 seq2seq 模型。mT5 支撑了大量低资源语言的 NLP 工作。直到 2026 年,FLAN-T5 仍是最佳 "小尺寸 + 严格输出" 的开源选择之一。

T5 在 2019 年回答了一个根本性问题:如果所有 NLP 任务本质上都是 "一段文字变成另一段文字",那我们为什么不为它们造一个统一的模型?这个问题的答案——统一 transformer + 大规模预训练 + 任务前缀——影响了此后所有大模型的设计。

7. 相邻概念

T5 不是孤立出现的。你接下来可以顺着这些方向深入:

  • BERT:encoder-only 的代表,T5 的 "只读不写" 前辈。理解了 BERT 的 MLM,对比 T5 的 span corruption 能帮你弄清两种预训练哲学的差异。
  • GPT:decoder-only 的代表,2026 年最主流的架构。T5 是 encoder-decoder,GPT 是 decoder-only——后者的自回归生成和前者有啥区别,是理解大模型架构分化的重要切入点。
  • Transformer:T5 的底座。T5 直接用了 2017 年原始 Transformer 的 encoder-decoder 结构,没有做架构创新。所以理解 Transformer 是理解 T5 的前提。
  • 大语言模型(LLM):T5 在 2019 年的 text-to-text 统一范式到了 2026 年演变成了 "所有任务都是对话" ——但核心思路一致:统一输入输出格式,让模型自己理解任务。
概念解析 · 人工智能ABC