基础概念 · 极客公园

为什么计算机能"听懂"人话

你对着手机说"帮我订明天去上海的机票"。它把航班列出来了。人说话充满省略、歧义、随口而出——机器居然能接住。这事不是自然发生的。背后是 NLP——自然语言处理——70 年死磕一个问题的历史。问题很简单:怎么让 0 和 1 理解人话。


1. 为什么非做不可

因为人最自然的交流是说人话,不是敲代码。1950 年代的程序员受够了打孔卡和指令集。他们幻想有一天能直接说"算这个",计算机就照做。这个动机 70 年没变。变的只是实现的手段。

每一代人都以为自己走到了终点。然后发现只是下一段的起点。


2. 难在哪

"我差点没考上"——考上了还是没考上?"苹果很好吃"——水果还是手机?人靠常识一秒判断。计算机没有常识。它只有 0 和 1。

所以 NLP 的本质很简单:把语言转成数字,同时尽量保留意思。保不保留得住,决定了机器"听不听得懂"。


3. 70 年,四段追问

为什么规则不行

最早的想法最直接:把语法写成 if/else。1954 年 IBM 用 250 词加 6 条规则翻译了 60 个俄语句子。学者欢呼,有人预言三年内机器翻译就实用。然后发现路越走越窄。"take"一个词就 40 种用法,例外永远写不完。到八十年代末,上万条规则还是覆盖不了日常对话。不是方法不对,是语言本身就不遵守规则。

为什么统计能行

写不完规则,就换逻辑:不让机器"理解",让它"数"。喂大量文本,机器自己算概率。1990 年代 IBM 的统计翻译效果不错。但有个硬伤:统计模型只记得住前后五六个词。长句子读到后面忘前面,像一个人只许看两行字。

为什么神经网络是转折

2013 年 Word2Vec 改变了一切。每个词被映射成向量——一串数字。语义相近的词,数字在空间中互相靠拢。"国王"减"男人"加"女人"约等于"女王"——数学上成立。模型在数值空间里学到了语义。同期 RNN 能处理序列了,但只能一个一个读词,不能并行。句子一长,训练慢得离谱。

为什么 Transformer 赢了

2017 年 Google 那篇《Attention Is All You Need》做了一个看似简单的改动:所有词同时互相"看",不用排队。并行处理,一次读完。效果炸了。2018 年 BERT 横扫 11 项 NLP 纪录。GPT 走了另一条路——不管任务结构,只管堆规模——走出了大语言模型。回头看,Transformer 是 NLP 的 iPhone 时刻:之前各种专有架构,之后只剩一种。

每一次追问都得到部分答案,但发现更深的问题。这不是技术的失败,是语言本身的深度。

4. "听懂"打了引号

今天的大模型能流利对话,但"理解"要打引号。它知道"我差点没考上"这句话最可能的输出,但它不知道紧张感。理解语言和理解感受,中间还差着东西。

技术对比很鲜明:2016 年做文本分类要一周——分词、去停用词、特征工程、训练分类器。2026 年写一段提示词就行。大模型吞掉了所有中间步骤。进步是真的。但代价也明显——黑箱。输出能检验,出错了难定位。


5. 追问没停

从 1954 年的 60 个俄语句子,到 2026 年的大语言模型,70 年够长。但"为什么"的追问没有停过:为什么机器还没真正理解人话?为什么还会犯低级错误?为什么推理能力那么弱?

每一个问题,都可能是下一段的起点。


相邻概念

  • Token:NLP 操作的最小单位,分词后的直接产出。
  • 嵌入(Embedding):把 Token 转成向量的技术,NLP 数字化的第一步。
  • 注意力机制:让模型学会"该看哪里",Transformer 的核心创新。
  • Transformer:取代 RNN 的架构,今天所有大模型的基础。
  • 大语言模型(LLM):NLP 70 年发展下来最耀眼的产出。
基础概念 · 人工智能ABC