基础概念

概念解析——自然语言处理(NLP)

你发一句语音,手机帮你转成文字。你在搜索引擎里敲几个字,它知道你要找什么。你跟 ChatGPT 聊了一下午,它居然能接住你的梗。这些事背后,都是一个叫 NLP 的技术在干活。自然语言处理——让计算机理解人话——看着很酷,但这条路走了整整 70 年,换过四套做法,才走到今天。


1. 先说说这玩意儿到底要解决什么

你一定遇到过这种事:给对方发了一段话,对方回了一句"你什么意思?"——你说的明明很清楚,但对方就是理解歪了。人和人之间都这样,更何况是计算机。

编程语言里一个字符写错了就报错,跑都跑不起来。但自然语言呢?"我差点没考上"——这到底考上了还是没考上?"苹果很好吃"——说的是水果还是手机?人类靠常识和语境一秒分辨,但这些恰恰是计算机最缺的东西。

所以 NLP 从头到尾只干一件事:把人的话翻译成计算机能算的数字。翻译得好不好,直接决定了机器"听不听得懂人话"。而怎么翻译这件事,70 年里换了四代思路。


2. 70 年四次换代

阶段一

手写规则时代(1954–1989)

最开始的想法很朴素:把语法规则写成 if/else,让计算机照着解析不就行了?1954 年 Georgetown-IBM 实验用 250 个词加 6 条规则,成功翻译了 60 个俄语句子——当时整个学界都沸腾了。但越做越发现不对劲:语言的特例写不完。你写了三千条规则,又冒出一万个例外。到了 80 年代末,一个系统的规则能上万条,仍然覆盖不了日常对话。

阶段二

统计概率时代(1990–2012)

既然规则写不完,那就换个思路:不让计算机"理解"语言,让它"数"语言。给模型喂大量文本,让它自己统计哪些词更可能跟在哪些词后面。IBM 的翻译模型就是从双语语料里算词对齐概率——你说法语 le 对应英语 the 的概率有多高?这种方法比手写规则灵活得多,但它有个致命问题:最多只能看前后五六个词,句子一长就"失忆"。

阶段三

神经网络 + 词向量时代(2013–2016)

2013 年 Mikolov 提出 Word2Vec,这是 NLP 史上第一个真正的转折点。他把每个词映射成一串数字(向量),让语义相似的词在数字空间里彼此靠拢。历史上第一次:king − man + woman ≈ queen 在数学上成立了。这就好比计算机开始"理解"词语之间的关系了。同期 LSTM 和注意力机制也开始萌芽。但 RNN 结构有个硬伤——每次只能读一个词,读完全句才能处理,完全没法并行计算,训练速度感人。

阶段四

Transformer + 预训练时代(2017–至今)

2017 年 Google 发了一篇论文叫《Attention Is All You Need》。核心改动就一个:让所有词同时互相"看"——不需要一个一个排队看了,并行化的问题被彻底解决。2018 年 BERT 横空出世,在 11 项 NLP 任务上拿了第一。GPT 则走了另一条路(只用解码器、拼命堆规模),最后走出我们今天看到的大语言模型。从 2019 年开始,NLP 进入了"预训练 + 微调"的单一范式——你不再需要为每个任务造一个模型,一个通用模型做点微调就能干活。

NLP 的 70 年,本质上就一件事:找到把"字变成数"的最佳方法。从手写规则到统计,从词向量到 Transformer,每次换代都让机器的"语感"好上一大截。

3. 核心操作一:分词(把一句话拆成最小单元)

计算机读不了"字",只能读"数"。所以第一步就是要把句子切成它认识的最小单元——Token。中文没有空格天然分词,所以这一步特别麻烦。"自然语言处理"这句话,可以按字切(自·然·语·言·处·理),按词切(自然·语言·处理),也可以用子词切(自然·语言·处理)。

现在主流做法叫 BPE(Byte Pair Encoding)。简单说就是:先拆到最小单元,然后统计哪些组合出现次数最多,把它们合并成一个 token。好处很明显——常见词如"模型""数据"当成一个整块处理,生僻词如"饕餮"就拆到更细的颗粒,不会有"查无此词"的尴尬。GPT-4o 的词表大概有 20 万 token,日常语言基本全覆盖。

实测一下:"今天天气很好" → BPE 切分 → ["今天", "天气", "很好"](3 个 token)。
"Tokenization splits text" → ["Token", "ization", " splits", " text"](4 个 token,注意空格会附在后一个词前面,这是 BPE 的一个特点)。

4. 核心操作二:嵌入(把编号变成向量)

分词之后,每个 token 只是一个编号——比如 12345。但是"苹果"的编号 12345 和"香蕉"的编号 12346 之间的数字差 1,这在语义上毫无意义。所以我们需要嵌入(Embedding):把每个编号转成一串数字向量——768 维或 4096 维。这些向量的关键性质:语义相近的词,向量也相近。"苹果"和"香蕉"的向量距离很近,"苹果"和"编程"的向量距离很远。

Word2Vec 在 2013 年第一次大规模验证了这个性质。他们训练完之后发现:king − man + woman ≈ queen。模型在数值空间里学到了某种关于语言结构的东西——不是死记硬背,是真的"理解"了点啥。今天的 Transformer 模型不再用独立的 Word2Vec,而是把嵌入层作为模型的一部分端到端训练,但核心逻辑一模一样。


5. 你能感受到的变化:2016 年 vs 2026 年

2016 年你要做一个文本分类任务,管线是这样的:分词 → 去停用词 → 词干提取 → 特征工程 → 训练分类器 → 调参。每一步都要不同工具和专业知识,走完流程少说一周。

2026 年你做同样的任务,步骤就两步:写提示词 → 交给大模型。大模型把分词、理解、特征提取、分类全吞进了自己肚子里。这不是说底层技术消失了——它们还在,但被抽象掉了,你不需要关心了。

代价呢?大模型比当年的流水线贵得多,而且像个黑箱——你可以检验输出对不对,但出了错很难像原来那样定位到哪一步出了问题。


6. NLP 的任务版图:什么东西已经被 AI 吃掉了

NLP 这些年覆盖的任务,按"被大模型吃掉的程度"排个序:

  • 基本解决:文本分类、情感分析、命名实体识别、机器翻译。大模型在这些任务上的表现已经接近甚至超过人类平均水平。
  • 大幅改善:自动摘要、问答系统、文本生成。能做,但还有幻觉、遗漏关键信息等问题。
  • 还在摸索:语篇理解、常识推理、多步推理、事实核查。这些任务需要的不是"语言能力",而是"思考能力"。

一个有意思的现象:NLP 作为一个独立学科正在被"AI"这个大词吞没。十年前 NLP 有自己的比赛(GLUE、SuperGLUE)、自己的学术会议(ACL、EMNLP)、自己的工具箱(NLTK、spaCy)。今天你说"做个 NLP 任务",基本等于"去问一下大模型"。进步是真的,但你也可以说——那些被绕过的底层能力,学它的人越来越少了。


7. 相邻概念

NLP 不是一个孤立领域。如果想继续深入,这几个概念是热门下一站:

  • Token:NLP 处理的最小单元,分词环节的直接产出。
  • 嵌入(Embedding):把 token 变成向量的技术,NLP 的"数字底座"。
  • 注意力机制:让模型在生成时学会"看哪里",现代 NLP 的灵魂操作。
  • Transformer:取代 RNN 的架构,当前所有大模型的基础。
  • 大语言模型(LLM):NLP 在今天最耀眼的产出。
概念解析 · 人工智能ABC