基础概念 · 机器之心
自然语言处理:让机器读懂人类语言的技术
你打开百度搜索,输入"最近的咖啡店",它懂你在找什么。你用谷歌翻译把一段中文转成英文,语序和意思基本没丢。你跟智能客服说"收不到验证码",它知道你需要帮助而不是陈述事实。这三件事看起来毫不相关,背后的技术是同一个:自然语言处理,简称 NLP。
1. 70 年没解决的问题
NLP 的目标很单纯:让计算机理解人类语言。这事做了 70 年,到今天也没完全解决。
难在哪?计算机最擅长的是算数,但语言不是数字。"苹果很好吃"——水果还是手机?"我差点没考上"——考上了还是没有?人靠常识一秒判断,机器没有常识。NLP 的核心任务就是把这些充满歧义、依赖上下文、夹杂潜台词的文字,转化成机器能算的数字。转换过程中语义丢得越少,模型越聪明。
2. 四个阶段的进化
写规则(1954–1989)
最直接的想法:把语法写成 if/else。1954 年 Georgetown 实验用 250 个词加 6 条规则翻译了 60 个俄语短句,学界以为一两年就能解决机器翻译。后来的故事大家都熟悉:规则越写越多,例外越冒越频繁,一个系统上万条规则也覆盖不了日常对话。
数概率(1990–2012)
写不完规则,就让机器"数"。喂大量文本,统计哪些词更可能出现在哪些词后面。IBM 的 Candide 系统从双语语料里算词对齐概率,比以前灵活得多。但上下文窗口只有五六个词,句子一长就失忆。
词向量(2013–2016)
2013 年 Word2Vec 成了 NLP 第一个真正转折。每个词被映射成几十个浮点数——向量。语义近的词在空间中靠得近。king − man + woman ≈ queen,数学上第一次成立。同期 LSTM 和注意力开始登场,但 RNN 只能逐个词读,训练慢得让人绝望。
Transformer(2017–至今)
2017 年 Google 那篇《Attention Is All You Need》改变了一切。核心改动:所有词同时互相"看",不用排队了。并行计算成为可能,训练效率提升几个量级。2018 年 BERT 横扫 11 项 NLP 任务。GPT 走上另一条路——只用解码器,堆规模——走出了今天的大语言模型。2020 年之后,NLP 进入"预训练 + 微调"的统一范式。
3. 机器之心的观察
一个趋势值得注意:NLP 作为一个独立学科正在被"AI"吞并。2018 年 ACL 会议,BERT 变体论文最多。2023 年起,大部分论文围绕大模型的推理、对齐、评估。十年前 NLP 有自己的比赛(GLUE、SuperGLUE)、自己的会议(ACL、EMNLP)、自己的工具箱(NLTK、spaCy)。今天你说"做个 NLP 任务",等于说"去问问大模型"。
进步是真实的。但代价也明显:那些被跳过的底层能力——分词、句法分析、语义角色标注——掌握的人越来越少。今天的 NLP 工程师更关注提示工程和 RAG,而不是特征工程和模型调参。工具链变了,知识结构也在变。
4. 没填完的坑
大模型把天花板推高了很多,但几个根本问题还在。
语义深度。模型读得懂字面,但涉及常识推理和反事实推理就露馅。"如果昨天没下雨,我今天会去跑步吗?"这种问题需要同时理解时间、因果和预设,目前的表现还差强人意。
数据效率。人类学一门语言接触几千万词就够,顶级大模型要训数万亿 token——几千倍的差距。这中间有巨大的优化空间。
评估困境。一个模型翻译得好不好,摘要是否准确,目前主要靠人看。自动指标 BLEU、ROUGE 和人类判断的相关性有限。你很难说清"这个模型到底有没有理解这句话"。
5. 相邻概念
- Token:NLP 的最小处理单元,分词的直接产出。
- 词嵌入(Embedding):把 token 转成数值向量的技术,Word2Vec 是代表作。
- 注意力机制:让模型关注输入的不同位置,Transformer 的灵魂。
- Transformer:基于自注意力的架构,当前所有大模型的基础。
- 预训练语言模型:先在大规模语料上学习通用语言知识,再微调适配具体任务。BERT 和 GPT 是两条路线。
- 大语言模型(LLM):NLP 技术的集大成者,也是今天最闪耀的成果。