大语言模型

概念解析——大语言模型(LLM)

大语言模型(Large Language Model,简称 LLM)是当前人工智能最耀眼的产物。ChatGPT、Claude、Gemini 都是它。一个特别会接话的程序:根据你输入的上下文,一个字一个字往下猜,猜出来的文字连起来看就像在跟你聊天。


1. LLM 解决了什么

人类用自然语言交流,模糊、有歧义、依赖语境。传统计算机只能理解精确的指令,面对"你帮我看看这个"就听不懂。LLM 要干的事,就是让计算机能理解、生成、处理自然语言。

它不靠手工写规则,也不靠统计词频。它靠的是从海量文本中自己学出来的"语感"——根据上文猜下文。你打一句"明天北京会",它从这几个字开始,一个字一个字往下算,每个位置都猜"下一个最可能是什么字",接到能结束就停。

这个听起来简单的机制,背后有"大"和"语言"两个关键词:

  • 大:参数规模从 1 亿到上万亿,训练数据从几亿字到十几万亿字,训练一次烧几千张显卡跑几个月。
  • 语言:它专门处理语言类任务,但广义上还包括代码、图像、声音——一切能用序列表达的信息。
大语言模型不是"数据库",不是"搜索引擎",也不是"规则引擎"。它是一个在文本上训练出来的概率生成器——每一句话都是临时算出来的,不是提前背好的。

2. 核心原理:下一词预测

LLM 最底层的本领只有一件:预测下一个词(更准确说是下一个 token)。输入一段文字,模型给每个可能的 next token 算一个概率,然后挑一个接上。再拿新的上文重复这个过程,直到遇到结束符或达到长度限制。

示例:输入"今天天气很",模型可能给"好"分配 0.45、"热"分配 0.3、"差"分配 0.15、"不"分配 0.05……选概率最高的"好"接上,变成"今天天气很好"。继续预测下一个词,可能接"。", 再接"明"、"天"……
每步都是这么简单的一步概率选择,连起来就能写文章、翻译、编代码。

行话叫自回归(autoregressive)生成——自己回归地吃自己刚生成的词,再吐下一个。Transformer 架构用自注意力机制让模型能"看到"上文所有词,不只是最近几个。这是它跟 n-gram 时代最大的区别。

默认情况下,模型每次生成会带一点随机性。同一个问题问两次,答案可能不完全一样——因为每次是"按概率抽样",不是"取最确定那个"。重要的事多问几遍让它自己核对,比一次定论靠谱。


3. Base 模型 vs Instruct 模型

01

原始接龙模型(Base)

预训练完成后得到的模型叫 base 模型。它只擅长一件事:续写。你给它"把下面这句翻成英文:今天会下雨",它会接着写"把下面这句翻成日文:明日は雨が降ります"——它把这道题当成了"题面接龙",继续出更多类似的题。不是它笨,是训练目标只有续写。

02

调教过的对话模型(Instruct)

在 base 模型之上再做一轮训练:给它看大量"问—答"范例,再让人类对不同答案打分,让模型学会"人家给你指令,你就直接答,不要继续出题"。这步行话叫 SFT + RLHF(监督微调 + 基于人类反馈的强化学习)。

ChatGPT 2022 年底上线时最大的突破不是模型变聪明了,而是被教会了"听话办事"。GPT-3 和 ChatGPT 底层共享同一个基础模型,差别就是这一轮调教。

Base 模型是"天才但不懂规矩"——什么都会续写但不听指令。Instruct 模型是"被教过礼貌的天才"——会按要求回答问题。今天你用到的所有对话产品(ChatGPT、Claude、Gemini)都是 Instruct 版本。

4. Scaling Law:规模定律

LLM 为什么越做越大,不是厂商炫技,是因为有一条被验证的规律:模型越大、数据越多、算力越足,效果就越好。2020 年 OpenAI 发表 Scaling Laws 论文,系统论证了这个趋势。

三样东西要一起往上堆:

  • 参数(参数规模):模型内部的可调"旋钮"数量。BERT 1.1 亿(2018),GPT-3 1750 亿(2020),2026 年顶级模型已超万亿。越多越能记住复杂模式。
  • 数据(训练数据量):模型训练时读过的文字总量。GPT-2 读 400 亿字,Llama 3.1 读 15 万亿字。数据越大,见过的语言现象越丰富。
  • 算力(计算量):训练一次消耗的浮点运算次数。一次训练几千张顶级显卡跑几个月,成本上千万美元。算力 = 你能在合理时间内完成多大规模的参数更新。

这三角不是各自独立——Scaling Law 说模型性能跟三者呈幂律关系。简单讲:你同时把参数和数据各放大 10 倍,效果提升是可预测的。反过来,只放大参数不放大数据,效果到某个点就停了。

2024 年之后这条规律开始遇到边际递减——加一倍参数不再换来等量提升。所以行业的方向从"堆更大"慢慢转向"用更聪明的方式组织计算"(MoE 混合专家、多 token 预测等)。


5. 关键能力

01

上下文学习(ICL)

不给模型说"现在开始做任务",只在对话里塞几个例子(比如 hot→cold / tall→short / happy→sad),它就猜出"你是要说反义词",然后真的开始输出反义词。整个过程模型参数一个都没动,只是在那一次对话里"看几个例子就会了"。行话叫 in-context learning(ICL)。2020 年 GPT-3 首次让大家见识到这个能力。

02

涌现能力

小模型在某些题目上完全是瞎猜(比如多位数加法)。给再多训练数据也学不会。但模型一旦超过某个体量,准确率会突然从瞎猜跳到能做对。不是慢慢变好,是断点式的。没人教过,也没人提前设计——模型大到某个阈值就自己冒出来了。

03

多步指令执行

你不用把一件事拆成 3 句话挨个问。一句"帮我做 A、B、C",它能自己拆成 3 件,按顺序一件件做完,最后给你一份成品。这背后是 Instruct 训练让它学会了"先拆任务、再逐步执行"的模式。

04

逐步推理(思维链)

直接问"小明买了 5 个苹果,给了小红 2 个,又买了 3 个,现在几个?"——模型容易凭直觉跳着算然后算错。但如果让它"先把每一步写出来",正确率立刻翻几倍。这个技巧行话叫思维链(Chain-of-Thought)。2024 年底开始的推理模型(o1、DeepSeek-R1)干脆把这步内化进了训练,不用你提醒,它自己会先想再答。


6. 局限

LLM 很强,但有些事你不能指望它:

  • 别期待它真的"懂":它一直在玩"下一个最像的字是哪个"。听起来像懂,不等于它真有理解力。涉及关键判断的事仍要自己拍板。
  • 别期待算账一定算对:简单算术常常翻车,多步运算更不稳。让它分步写出来,或者直接上计算器。
  • 别期待它知道最新的事:每个模型有知识截止日期。问它今天的新闻,要么承认不知道,要么瞎编。
  • 别期待它没读过的东西:训练数据里没有的内容(内部文档、不公开的论文),它不可能猜对。要么贴进去,要么接外部检索(RAG)。
  • 别期待两端一致:默认有随机性,同一道题问两次答案可能不同。重要的事多问几遍让它自己核对。
  • 别期待没有幻觉:它是"听起来像那么回事就说出来",哪怕这件事根本不存在。涉及事实和数字,要么自己核对、要么让它带来源。
LLM 是一个特别会接话的程序,不是一个真的懂事的助手。把它当聪明的实习生用——活照交,结果你来核。

7. 相邻概念

LLM 不是一个孤立技术。你接下来可以顺着这些概念深入:

  • Token:LLM 处理的最小文字单元,一个词或一个子词。模型一次能处理的 token 上限叫上下文窗口。
  • Transformer:LLM 的底层架构,用自注意力机制取代循环网络,让模型可以并行处理全部输入。
  • 预训练:在超大规模文本上训练 base 模型的过程,LLM 所有能力的源头。
  • 微调:在 base 模型上用特定数据继续训练,让模型适应具体场景(比如变成对话模型)。
  • GPT 系列:OpenAI 的 LLM 系列,GPT-3 开启了 Scaling Law 时代,ChatGPT 让 LLM 走入大众。
  • LLaMA:Meta 的开源 LLM 系列,以高效训练和开放权重推动了开源社区的快速发展。
  • 幻觉(Hallucination):LLM 最突出的缺陷——生成看似合理但实际错误的内容。
  • 上下文窗口:模型一次能"看到"的最大输入长度,从 2020 年的 2000 token 增长到今天的百万级别。
概念解析 · 人工智能ABC