基础概念 · 数字生命卡兹克

每次打开AI,你都在用NLP

你发给 AI 的每个字,它"看"不懂。计算机只认识 0 和 1。但你能和它对话,能让它翻译、总结、写代码。中间隔着一层东西。叫 NLP。自然语言处理。把"人话"翻译成"机话"的技术。它不酷炫,但 AI 所有酷炫的事都踩在它肩上。


1. 选择题:下面哪个是 NLP

A. 淘宝告诉你"猜你喜欢"
B. 你把一张照片变成梵高风格
C. 你用语音让 Siri 定闹钟
D. 自动驾驶识别红灯

答案是 A 和 C。B 是计算机视觉,D 也是。NLP 只看语言——文本和语音的文本端。中文翻译英文、客服机器人、邮件自动分类、你正在读的文章——全是 NLP。

一个数据:NLP 处理的信息占人类总数据量的 80% 以上。语音、邮件、文档、评论、法律条文、病历。到 2026 年,全球每天产生 3.3 亿 TB 新数据,绝大部分是文本。

NLP 不是一个功能。是 AI 跟人类沟通的唯一通道。


2. 难在哪:一句"行"有六种意思

人可以。机器不行。
"行"——可以。
"行"——你走开。
"行"——这事办得不错。
"行"——我服了你了。
"行行行"——别烦了。
"行"——(沉默,翻白眼,相当于没行)。

人类靠语气、表情、上下文、社会经验来判断。机器只有文字。这叫做"语言歧义性"。NLP 70% 的技术努力花在解决一个问题:从一个字、一句话的可能含义里选出最合理那个。


3. 翻译方法进化史(四行话讲完)

1950s

人工写规则

语言学家把语法写成逻辑规则,机器照搬。几年后所有人都放弃了——语言的特例比规则多了一个数量级。

1990s

数概率

不写规则了,给机器喂双语对照文本,让它算"哪个词翻译成哪个词的可能性最大"。效果好很多。但模型一眼只能看五到七个词,长一点就断片。

2013

词向量革命

Word2Vec 把词变成高维向量。"国王"减"男人"加"女人"约等于"女王"——数学上成立了。语义第一次可以用向量加减来表示。这是 NLP 的牛顿时刻。

2017

Transformer 炸场

Google 发了一篇论文《Attention Is All You Need》。核心改动:所有词同时互相看,不再排队处理。训练速度提高几十倍。BERT、GPT 都长在这棵树上。你用的每一个语言模型,底层的 NLP 引擎都是它。


4. 你每天都在用,只是不知道名字

搜索。你打出三个字,搜索引擎从百亿页面里捞到答案。靠的不是它"知道"答案,是靠 NLP 判断你的查询和哪些页面"语义最接近"。

输入法。你打"xw",出来"新闻"、"希望"、"行为"。排序背后是语言模型在算概率——根据你上一个词,猜你下一个要打什么。

翻译。DeepL、Google Translate、彩云小译。把一种语言的句子结构拆掉,用另一种语言重建。这不是查字典。是整个句子整体理解后重写。

推荐算法。抖音推荐、淘宝首页、公众号推送——你以为推荐只看你点了什么。实际上你的搜索历史和评论内容都被 NLP 拆了一遍,用来建你的兴趣画像。

还有一个所有人都用过的:拼写检查。红波浪线背后是 NLP 最经典的分支——语言模型在判断"这个词不应该出现在这里"。

你每天的主动触屏操作,平均每三次就有一次经过 NLP 管线处理。搜索-输入-翻译-推荐-纠错。只是你没意识到而已。


5. 2026 年,NLP 还有什么不会

大模型把 NLP 的门槛砸到了地板。十年前做文本分类要学 NLTK、scikit-learn、正则表达式。今天写一句提示词就行。GLUE 基准测试的分数从 2018 年的 80 分飙到了现在的 95+。

但不会的也很多。多步推理——"如果 A 大于 B 且 B 大于 C 但 D 小于 A,问最小的是谁"——大多数模型答不对。事实核查——模型说出自信的胡话,你查不到它为什么错。常识——"把鸡蛋放进冰箱"和"把冰箱放进鸡蛋"在向量空间里差距没有你想的那么大。

一句话:NLP 已经学会了一门语言,但它还没有常识、没有逻辑、没有对自己说的话负责的能力。这是下一个十年的课题。


6. 相邻概念

  • 分词(Tokenization):NLP 的第一步,把句子切成机器能处理的小块。
  • 词嵌入(Word Embedding):把词变成向量,让计算机"理解"语义距离。
  • Transformer:取代 RNN 的架构,现代 NLP 的标配。
  • 注意力机制(Attention):让模型知道"这句话里哪个词最重要"。
  • 大语言模型(LLM):NLP 技术的集大成者,GPT、Claude、Gemini 都是。
人工智能ABC · NLP