大语言模型
概念解析——大语言模型(LLM)
大语言模型(Large Language Model,简称 LLM)是当前人工智能最耀眼的产物。ChatGPT、Claude、Gemini 都是它。一个特别会接话的程序:根据你输入的上下文,一个字一个字往下猜,猜出来的文字连起来看就像在跟你聊天。
1. LLM 解决了什么
人类用自然语言交流,模糊、有歧义、依赖语境。传统计算机只能理解精确的指令,面对"你帮我看看这个"就听不懂。LLM 要干的事,就是让计算机能理解、生成、处理自然语言。
它不靠手工写规则,也不靠统计词频。它靠的是从海量文本中自己学出来的"语感"——根据上文猜下文。你打一句"明天北京会",它从这几个字开始,一个字一个字往下算,每个位置都猜"下一个最可能是什么字",接到能结束就停。
这个听起来简单的机制,背后有"大"和"语言"两个关键词:
- 大:参数规模从 1 亿到上万亿,训练数据从几亿字到十几万亿字,训练一次烧几千张显卡跑几个月。
- 语言:它专门处理语言类任务,但广义上还包括代码、图像、声音——一切能用序列表达的信息。
2. 核心原理:下一词预测
LLM 最底层的本领只有一件:预测下一个词(更准确说是下一个 token)。输入一段文字,模型给每个可能的 next token 算一个概率,然后挑一个接上。再拿新的上文重复这个过程,直到遇到结束符或达到长度限制。
每步都是这么简单的一步概率选择,连起来就能写文章、翻译、编代码。
行话叫自回归(autoregressive)生成——自己回归地吃自己刚生成的词,再吐下一个。Transformer 架构用自注意力机制让模型能"看到"上文所有词,不只是最近几个。这是它跟 n-gram 时代最大的区别。
默认情况下,模型每次生成会带一点随机性。同一个问题问两次,答案可能不完全一样——因为每次是"按概率抽样",不是"取最确定那个"。重要的事多问几遍让它自己核对,比一次定论靠谱。
3. Base 模型 vs Instruct 模型
原始接龙模型(Base)
预训练完成后得到的模型叫 base 模型。它只擅长一件事:续写。你给它"把下面这句翻成英文:今天会下雨",它会接着写"把下面这句翻成日文:明日は雨が降ります"——它把这道题当成了"题面接龙",继续出更多类似的题。不是它笨,是训练目标只有续写。
调教过的对话模型(Instruct)
在 base 模型之上再做一轮训练:给它看大量"问—答"范例,再让人类对不同答案打分,让模型学会"人家给你指令,你就直接答,不要继续出题"。这步行话叫 SFT + RLHF(监督微调 + 基于人类反馈的强化学习)。
ChatGPT 2022 年底上线时最大的突破不是模型变聪明了,而是被教会了"听话办事"。GPT-3 和 ChatGPT 底层共享同一个基础模型,差别就是这一轮调教。
4. Scaling Law:规模定律
LLM 为什么越做越大,不是厂商炫技,是因为有一条被验证的规律:模型越大、数据越多、算力越足,效果就越好。2020 年 OpenAI 发表 Scaling Laws 论文,系统论证了这个趋势。
三样东西要一起往上堆:
- 参数(参数规模):模型内部的可调"旋钮"数量。BERT 1.1 亿(2018),GPT-3 1750 亿(2020),2026 年顶级模型已超万亿。越多越能记住复杂模式。
- 数据(训练数据量):模型训练时读过的文字总量。GPT-2 读 400 亿字,Llama 3.1 读 15 万亿字。数据越大,见过的语言现象越丰富。
- 算力(计算量):训练一次消耗的浮点运算次数。一次训练几千张顶级显卡跑几个月,成本上千万美元。算力 = 你能在合理时间内完成多大规模的参数更新。
这三角不是各自独立——Scaling Law 说模型性能跟三者呈幂律关系。简单讲:你同时把参数和数据各放大 10 倍,效果提升是可预测的。反过来,只放大参数不放大数据,效果到某个点就停了。
2024 年之后这条规律开始遇到边际递减——加一倍参数不再换来等量提升。所以行业的方向从"堆更大"慢慢转向"用更聪明的方式组织计算"(MoE 混合专家、多 token 预测等)。
5. 关键能力
上下文学习(ICL)
不给模型说"现在开始做任务",只在对话里塞几个例子(比如 hot→cold / tall→short / happy→sad),它就猜出"你是要说反义词",然后真的开始输出反义词。整个过程模型参数一个都没动,只是在那一次对话里"看几个例子就会了"。行话叫 in-context learning(ICL)。2020 年 GPT-3 首次让大家见识到这个能力。
涌现能力
小模型在某些题目上完全是瞎猜(比如多位数加法)。给再多训练数据也学不会。但模型一旦超过某个体量,准确率会突然从瞎猜跳到能做对。不是慢慢变好,是断点式的。没人教过,也没人提前设计——模型大到某个阈值就自己冒出来了。
多步指令执行
你不用把一件事拆成 3 句话挨个问。一句"帮我做 A、B、C",它能自己拆成 3 件,按顺序一件件做完,最后给你一份成品。这背后是 Instruct 训练让它学会了"先拆任务、再逐步执行"的模式。
逐步推理(思维链)
直接问"小明买了 5 个苹果,给了小红 2 个,又买了 3 个,现在几个?"——模型容易凭直觉跳着算然后算错。但如果让它"先把每一步写出来",正确率立刻翻几倍。这个技巧行话叫思维链(Chain-of-Thought)。2024 年底开始的推理模型(o1、DeepSeek-R1)干脆把这步内化进了训练,不用你提醒,它自己会先想再答。
6. 局限
LLM 很强,但有些事你不能指望它:
- 别期待它真的"懂":它一直在玩"下一个最像的字是哪个"。听起来像懂,不等于它真有理解力。涉及关键判断的事仍要自己拍板。
- 别期待算账一定算对:简单算术常常翻车,多步运算更不稳。让它分步写出来,或者直接上计算器。
- 别期待它知道最新的事:每个模型有知识截止日期。问它今天的新闻,要么承认不知道,要么瞎编。
- 别期待它没读过的东西:训练数据里没有的内容(内部文档、不公开的论文),它不可能猜对。要么贴进去,要么接外部检索(RAG)。
- 别期待两端一致:默认有随机性,同一道题问两次答案可能不同。重要的事多问几遍让它自己核对。
- 别期待没有幻觉:它是"听起来像那么回事就说出来",哪怕这件事根本不存在。涉及事实和数字,要么自己核对、要么让它带来源。
7. 相邻概念
LLM 不是一个孤立技术。你接下来可以顺着这些概念深入:
- Token:LLM 处理的最小文字单元,一个词或一个子词。模型一次能处理的 token 上限叫上下文窗口。
- Transformer:LLM 的底层架构,用自注意力机制取代循环网络,让模型可以并行处理全部输入。
- 预训练:在超大规模文本上训练 base 模型的过程,LLM 所有能力的源头。
- 微调:在 base 模型上用特定数据继续训练,让模型适应具体场景(比如变成对话模型)。
- GPT 系列:OpenAI 的 LLM 系列,GPT-3 开启了 Scaling Law 时代,ChatGPT 让 LLM 走入大众。
- LLaMA:Meta 的开源 LLM 系列,以高效训练和开放权重推动了开源社区的快速发展。
- 幻觉(Hallucination):LLM 最突出的缺陷——生成看似合理但实际错误的内容。
- 上下文窗口:模型一次能"看到"的最大输入长度,从 2020 年的 2000 token 增长到今天的百万级别。