大语言模型
概念解析——GPT 系列
GPT 是 Generative Pre-trained Transformer 的缩写 —— 生成式预训练 Transformer。它是 OpenAI 从 2018 年开始推的一个大模型系列,也是定义"大模型"这三个字的那个系列。从 GPT-1 到 GPT-4o,训练目标始终是同一行公式(猜下一个 token),但参数量、数据规模、训练方式、能处理的信息形式——全变了。
1. GPT 的 decoder-only 血统
要理解 GPT 系列,先理解一件事:它跟 BERT 是同时期出来的,但走了完全相反的路。BERT 用 Transformer 的编码器(encoder),双向看上下文,擅长理解任务(分类、标注)。GPT 用 Transformer 的解码器(decoder),只能从左往右看,擅长生成任务(续写、对话)。
这个"只用 decoder"的选择在 2018 年看起来有点怪——当时学界的主流是"编码器给力"(BERT 横扫排行榜)。但 GPT 的作者赌的是:如果你把 decoder 堆得够大、读得够多,它自己就会涌现出理解能力。7 年后回头看,这个判断是对的。今天所有的对话模型——GPT、Claude、Gemini、Llama——全是 decoder-only。编码器那套反而退居二线了。
2. 五步演进
GPT-1(2018)—— 证明自回归预训练有用
2018 年 6 月,OpenAI 发表了一篇不那么起眼的论文:"Improving Language Understanding by Generative Pre-Training"。核心想法很简单:先让模型海量读文章(BookCorpus,4.5 GB,7000 本未出版小说),读的时候猜下一个词是什么;然后在具体任务上做一小步微调。结果让人意外——在 9 个 NLP 任务上,这个只做了预训练的模型达到甚至超过了当时最先进的结果。GPT-1 只有 117 M 参数,12 层 decoder,放到今天连玩具都算不上,但它证明了一件事:预训练(pretrain)这条路走得通。
GPT-2(2019)—— 做大了,争议也来了
2019 年 2 月,GPT-2(1.5 B 参数)发布。模型大了 13 倍,数据从书换成了 WebText(40 GB,Reddit 高赞外链)。生成的文本质量让当时的人吓一跳——给定一段开头,它能续写出看起来像模像样的新闻、小说、影评。OpenAI 自己都吓到了,首发只放了个 117 M 的小版本,说"太大怕被滥用"。后来到了 11 月才全量放出 1.5 B。回头看那个"too dangerous to release"的争议挺有意思——人们后来发现,这种担忧既不是空穴来风,也没有严重到改变历史进程。
GPT-3(2020)—— 规模就是一切
2020 年 5 月,GPT-3(175 B 参数)上线,比 GPT-2 又大了 100 多倍。训练数据来自 Common Crawl + Books + Wikipedia,合计约 300 B token。GPT-3 带来了一个完全反常识的发现:模型大到一定程度,不需要为每个任务微调了——你把几个例子写进 prompt 里(in-context learning),模型直接照着做。0-shot 到 few-shot 之间,TriviaQA 从 64.3% 涨到 71.2%,法语→英语翻译 BLEU 从 21.2 跳到 39.2。训练成本约 460 万美元(Lambda Labs 2020 估算)。但也暴露了问题:大了未必正确,GPT-3 的数学推理和事实准确性差得离谱。
InstructGPT(2022)—— 让它听话
GPT-3 能写东西,但不一定按你的意思写。你要摘要,它可能写一篇新的;你要分类,它理解不了"只输出 Y 或 N"。2022 年 1 月,OpenAI 拿出了 InstructGPT,核心是三步走:先拿人工写的指令-回答对做监督微调(SFT),再让人类给模型的多份输出打分训练一个奖励模型,最后用 PPO(一种强化学习算法)让模型照着奖励模型的偏好走。这套流程后来统一叫 RLHF。关键数据:1.3 B 的 InstructGPT 在人类偏好评估上压住了 175 B 的原版 GPT-3。也就是说,对齐比扩大更有性价比。
GPT-4(2023)—— 多模态大门打开
2023 年 3 月,GPT-4 发布。这是 GPT 系列第一次能同时接收文本和图像输入(输出仍然是文本)。OpenAI 说训练成本超过 1 亿美元,参数规模行业估计约 1.7 T(采用 MoE 混合专家架构)。上下文从 8 K 扩展到 128 K(Turbo 版本)。它的视觉识别能力——看图、读图表、理解手写体——在当时是革命性的。但 GPT-4 也开启了 OpenAI"不公开参数"的时代:技术报告只列出评测结果,对架构细节一概不提。
3. 转折:GPT-4o 的原生多模态
2024 年 5 月,GPT-4o(omni 的 o)发布。跟 GPT-4 不一样,4o 不是"一个文本模型 + 一个视觉编码器拼在一起",而是文字、图像、音频走同一个模型。音频延迟从数秒降到 320 ms,接近真人对话节奏。上下文 128 K,训练数据截止 2023-10。API 价 $5 / $15 per 1M token,比 GPT-4 便宜了 6 倍。
这件事的意义在于:多模态从一个"附加功能"变成了模型的内建能力。你给 4o 一张照片、一段语音、一页 PDF,它用同一套参数处理。后面 OpenAI 沿着这条路继续走——o 系列(o1、o3)把 reasoning 也加了进来。到 2025 年 8 月的 GPT-5,三条支线(语言本体、用户产品、推理模型)合为一个统一系统。
4. 今天:2026 年的 GPT 版图
2026 年当前,OpenAI 的旗舰线已经走到 GPT-5.5。模型完全闭源,参数数量不再公开。上下文 1.05 M(922 K input + 128 K output),价格 $5 / $30 per 1M token。产品线按用户分层:nano($0.05 / $0.40)到 Pro($30 / $180),价差 600 倍。Sora(视频生成)已被砍掉,ChatGPT 继续作为主力消费产品运营。
三件该知道的事:一,OpenAI 从 GPT-4 起不再给具体参数,行业估算也越来越难——MoE 和动态路由让 active param 不再是一个固定数字。二,价格在 2024 年触底后开始反弹——GPT-5 是最后一个低点($1.25 / $10),后面 5.4、5.5 都在涨。三,推理模型(o 系)跟 GPT 系正在融合:GPT-5 已经能做到"知道什么时候快答、什么时候多想一会儿"。
5. 相邻概念
GPT 不是一个孤立的技术。跟它最直接相关的几篇:
- 大语言模型(LLM):GPT 是大语言模型中最具代表性的一支。LLM 站讲所有大模型的共性——训练目标、scaling law、涌现能力。
- BERT:跟 GPT 同时期、同 Transformer 架构,但走了 encoder-only 的路。两个模型合在一起才能完整理解"预训练"的两种方向。
- LLaMA:Meta 的开源大模型系列,走 GPT 一样的 decoder-only 路线。对比 LLaMA 看 GPT,就明白"闭源 vs 开源"两种模式的差异。
- Transformer:GPT 的底层骨架。不看 Transformer 很难真正理解"decoder-only 自回归"到底在说什么。