基础概念 · 赛文乔伊
一句话讲清楚NLP是啥
NLP,全称自然语言处理。说白了就是让计算机听懂人话。你发一条微信、搜一次百度、喊一句"小爱同学",背后都是 NLP 在干活。它不是什么未来的黑科技——它每天都在用,你天天都在用。
1. 计算机天生听不懂人话
计算机只认数字。0 和 1。你嘴里蹦出"今天天气不错",计算机听到的是一串空气震动,不是文字。把声音转成文字,再把文字转成数字,最后从数字里猜出意思——这就是 NLP 干的事。
难在哪?人说话模糊。"我差点没上车"——上了还是没上?中文母语者一秒判断出来,但计算机没有生活经验。同样的句子有多种解读,机器得挑一个最合理的。
2. 最早的NLP:靠手写词典
1950 年代,图灵提出了那个著名问题:机器能思考吗?顺着这个问题,有人开始试着让计算机处理语言。
做法很原始。把一本词典敲进计算机,再写几千条语法规则。遇到"苹果",查词典——水果。遇到"我吃苹果",套语法——主语+动词+宾语。
1954 年,IBM 和乔治城大学搞了个演示。250 个词,6 条语法规则,翻译了 60 句俄语。翻译质量很差。但这已经让当时的人兴奋坏了。
问题很快暴露。语言的特例写不完。你写三千条规则,现实语言有一万个例外。到 1980 年代,这个路线基本走死了。
3. 第二条路:不教规则,让它自己数
既然写规则走不通,换了个思路:不教它语法,扔给它海量文本,让它自己发现规律。这叫统计 NLP。
举个例子。你给计算机读一亿条"我今天吃饭"、"你昨天喝水"这样的句子。它自己会发现:动词前面大概率是人称代词,"了"字总是在动词后面。它不懂为什么,但它知道概率。
这个路子管用多了。1990 年代到 2000 年代,机器翻译、搜索引擎、输入法,全是靠统计方法做的。Google 翻译 2006 年上线,底层就是统计模型。
但统计模型有个硬伤:记不住长距离的信息。句子一长,它只记得最近几个词,开头说了什么早忘了。阅读理解最多几十个词,长了就崩。
4. 转折点:词变成向量
2013 年,Google 发了 Word2Vec。这篇文章改变了 NLP 的走向。
核心想法很简单。每个词不再是个标签,而是一串数字——向量。300 个数字代表一个词。"国王"的向量,"男人"的向量,"女王"的向量,"女人"的向量。做加减法:国王 - 男人 + 女人 = 女王。数学上居然成立了。
这意味着什么?计算机第一次在数字世界里捕捉到了"类比"和"关系"。不是死记硬背,是某种程度的"理解"。
同期,神经网络也开始回归。2014 年 Seq2Seq 模型用在翻译上。2015 年注意力机制被提出来——不让计算机只看最后一个词,而是看所有词,挑重点看。
5. 大爆发:Transformer
2017 年是 NLP 的元年。Google 那篇论文标题很狂:《Attention Is All You Need》。意思是你不需要那些花里胡哨的结构,光靠注意力机制就够了。这个架构叫 Transformer。
Transformer 两个改动是决定性的。第一,并行计算。之前的模型一个字一个字读,Transformer 让所有字同时读取。训练时间从几周缩到几天。第二,规模可以无限堆。层数越多,参数越多,效果越好。没有上限。
2018 年,BERT 用 Transformer 在 11 项 NLP 任务上全部登顶。同年 GPT 系列开始堆参数。2020 年 GPT-3 出来,1750 亿参数。2023 年 GPT-4,多模态。2025 年 Claude、Gemini、国产模型全面跟进。
今天你用任何 AI 对话产品,底层都是 Transformer。它就是那个让 NLP 从实验室走到产品化的推手。
6. NLP 能干什么
- 翻译:输入中文,输出英文。DeepL、Google Translate 靠的是 NLP。
- 搜索:你搜"今年最火的电影",引擎理解你的意图,不是光匹配关键词。
- 语音助手:Siri、小爱、小度。你说一句,它听懂,再执行。
- 文本分析:客服自动分类投诉、社交舆情监控、简历自动筛选。
- 写作辅助:Grammarly 帮你改语法,Copilot 帮你写邮件。
这些都是 NLP 的具体落地。每个领域背后都经历了从规则到统计到神经网络的演进。
7. NLP 不是终点,是地基
今天大家聊的都是大模型、AGI、多模态。但这些全都踩在 NLP 的地基上。没有分词、嵌入、注意力机制那几十年的积累,GPT 压根出不来。
而且 NLP 还有自己的题目没解完。机器能翻译、能摘要,但它真的"理解"了你说了什么吗?目前没有一台计算机通过了真正的图灵测试。你问"你饿不饿",它回答"我不饿",但它不知道饿是什么感觉。这是理解,还是模拟?
NLP 还在往前走。70 年前从一本词典起步,今天到了千亿参数的规模。下一个 70 年,会不会从模拟走向真正的理解?不知道。但至少这 70 年,它把一件最反机器的事——听懂人话——做到了惊人的程度。
8. 相邻概念
- 分词(Tokenization):把一句话切成计算机能处理的小块。中文比英文麻烦。
- 嵌入(Embedding):把词变成向量,让计算机理解语义关系。
- 注意力机制:让模型看句子时学会"盯重点",不平均用力。
- Transformer:当前所有大模型的底层架构。2017 年诞生,2023 年统治世界。
- 大语言模型(LLM):NLP 发展到今天的集大成者。ChatGPT 是代表。