基础概念 · 赛博禅心
一张嘴就能跟电脑聊天,多亏了NLP
你跟 ChatGPT 说话,它回了。你跟 Siri 说话,它懂了。这个"你说了它懂了"的过程,背后是一门叫 NLP 的技术。中文叫自然语言处理。翻译一下就是:让计算机理解人话。但你要知道一件事:计算机本来根本听不懂人话。
1. 计算机是个白痴,只说数字
计算机只认数字。0 和 1,没了。"你好"这两个字,它不认识。你得告诉它"你"是哪个编号,"好"是哪个编号。这个把语言翻译成编号的活,就是 NLP 的核心。
说穿了,NLP 只做一件事:把人类语言变成计算机能算的东西,同时别把意思弄丢了。
计算机没有常识。"我差点没考上"——这句话你看一眼就懂了。计算机看了:差点?没?到底考上没?
人用常识理解语言。计算机用数学。把语言变成数学的过程,决定了机器能多"懂"你。
2. 古早时期:手写规则,累死人
最早那帮人特天真。觉得写语法规则就行。主语 + 谓语 + 宾语,写进 if/else,计算机照着解析。1954 年 IBM 用 250 个词加上 6 条规则翻译了 60 个俄语句子,全行业高潮了。
然后发现这条路走不通。中文里"差点没考上"是考上了,"差点没摔死"是没摔死——同样的句型,意思相反。你写规则?写不完的。一万条规则也兜不住日常对话。这条路走到八十年代末,死了。
3. 统计时代:不理解了,数数吧
写不了规则,那就换个思路——不让计算机"理解",让它"数"。喂它几百万篇文章,让它统计:看到"苹果"之后,更可能出现"好吃"还是"发布会"。
这个方法比写规则灵活多了。90 年代到 2000 年代初,机器翻译、语音识别全靠统计。但有个硬伤:它只能看到前后几个词。句子一长就失忆。"昨天我在商场看到那个穿红衣服的——你猜怎么着?——她居然是我小学同学。"统计模型看到后半句的时候,已经忘了"她"指的是谁。
4. 转折点:Word2Vec 和词向量
2013 年,Google 发了 Word2Vec。这玩意让 NLP 第一次开窍了。每个词被编码成一串数字——向量。"国王"对应一串数字,"王后"对应另一串。关键来了:语义相近的词,向量在数字空间里也靠得近。国王减去男人加上女人,约等于王后。这在数学上成立了。
这是大事。证明了一件事:计算机不光能"记住"词,还能"理解"词之间的关系。但当时模型太弱。一次读一个词,读完全句才能处理。训练一个模型要好几天,还不能并行。
5. Transformer 来了,一切都变了
2017 年,Google 发了那篇著名的《Attention Is All You Need》。标题就是论点:注意力就够了。什么意思?之前的模型是一个词一个词排队读。Transformer 让所有词同时互相看——一起算,不需要排队。
这个改动彻底掀翻了 NLP 领域。2018 年 BERT 横扫 11 项任务。GPT 走了另一条路:堆规模。从 GPT-1 的 1.17 亿参数,到 GPT-3 的 1750 亿,再到今天各种千亿级模型。规模大了以后,模型出现了没人预料到的能力——写诗、写代码、做推理。没人设计这些功能,它们是"长出来的"。
Transformer 之前,NLP 是手工作坊。Transformer 之后,NLP 变成了炼钢。
6. 但别神话它
今天你打开任何一个大模型,跟它聊天。你觉得它"懂"了。它不懂。它只是把你说的话拆成 token,算出一个概率最高的回复。你说"苹果好吃吗",它算出最可能的下一个词是"好吃"——不是因为它吃过苹果,是因为训练数据里"苹果很好吃"这句话出现了太多次。
NLP 到今天也没解决"理解"的问题。模型能写论文、能考律师资格证,但你问它"小明把花瓶打碎了,他妈妈会高兴吗",它可能答错。因为它没有真实世界的经验。
换个说法:NLP 把语言翻译成了数学,算得很准。但翻译不等于理解。就像你会查词典,不代表你懂那门语言。
7. 老老实实学还是直接问 AI
2016 年你要做个情感分析:分词、去停用词、特征提取、训练分类器、调参、部署。一套走下来,两周起步,还要懂 Python。
2026 年你做同样的事:打开一个对话框,输入"分析这段文字的情感"。
NLP 从一个需要专门技能的领域,变成了人人可用的工具。好的一面是门槛没了。坏的一面是,真正理解底层原理的人越来越少了。大多数人用大模型,就像用微波炉——按一下热饭,不需要懂电磁波。但如果你真理解了 NLP 在干什么,你就知道什么时候该信它,什么时候该怀疑它。
8. 相邻概念
- Token:计算机认识的最小语言单位。中文"自然语言处理"可能切成"自然·语言·处理"三块,每块一个 token。
- 词向量(Embedding):把 token 转成一串数字的技术。语义相近的词,数字也相近。
- 注意力机制(Attention):Transformer 的核心思路——让模型自己学会"看哪里更重要"。
- Transformer:2017 年提出的模型架构,当前所有大语言模型的基础。没有它就没有 ChatGPT。
- 大语言模型(LLM):NLP 发展到今天的集大成者。不是说它完美,是说它把此前所有路线的成果全吞了。