基础概念 · 李继刚
计算机学人话这件事
一只猫。你看到这两个字,脑子里蹦出一只毛茸茸的东西。它怎么叫,怎么走路,你都知道。这些信息不在"猫"这个字里,在你脑子里。
计算机看到"猫"这个字,看到的是二进制位。没有毛茸茸。没有呼噜声。什么都没有。
人和计算机之间有一道墙。墙这边是意义。墙那边是字节。
NLP 要做的就一件事:让计算机翻过这道墙。
墙有多高
语言天生不精确。"我差点没考上"——考上了还是没考上?"苹果很好吃"——水果还是手机?人一秒判断。靠的是常识、语境、生活经验。计算机没有这些。
最原始的做法是写规则。if 后面是"差点没"then 如何。但中文的例外根本写不完。最大的系统上万条规则,日常对话仍然捉襟见肘。
因为语言的模糊性不是规则能覆盖的。模糊不是 bug,是语言的天性。
不写规则了
写不完规则,就不写了。改成算概率。
喂大量文本给计算机,让它统计:什么词后面更可能跟什么词。"我"后面大概率是"想""觉得""要"。不需要知道为什么,只要知道概率。1980 年代末,统计方法全面取代规则。效果比写规则好很多。
但有个硬伤:统计只能看在右五六个词,句子一长就断片。而且每个新任务都要重新标注数据,成本极高。
词变成了向量
2013 年 Word2Vec 出现。关键转折。
不是数概率了。是把每个词映射成一串浮点数——向量。语义相近的词,向量在数学空间里也相近。结果让很多人愣住:"国王"减"男人"加"女人"约等于"女王"。数学等式成立了。words as vectors。语言变成了几何。
2017 年 Transformer。所有词同时互相"看",不再排隊。训练速度翻了几十倍,模型能看的上下文也长了几十倍。
2020 年之后,GPT 证明了规模的力量。模型够大、数据够多,语言能力从"数数"变成了"对话"。你打字,它回你。这一步跨过了那道墙——至少看起来是。
墙还在吗
GPT 能写诗,能翻译,能聊天。但它真的"理解"了吗?
它知道"火"的意思,但不知道火烫。它知道"苹果"的含义,但没吃过苹果。它的理解是数学结构上的理解,不是经验上的理解。
就像一张极精确的地图。每一条路都画对了。但走在路上的人才触得到路面。计算机只有地图,没有实地。
墙变薄了。人话计算机能接了。但墙还在。
这不是遗憾。是提醒。知道计算机怎么"理解",才知道什么时候该信它,什么时候不该信。
相邻概念
- 分词:句子切成 token,NLP 操作的最小单元。
- 嵌入:把 token 编号变成语义向量的技术。NLP 的基石。
- 注意力机制:模型自己决定"看哪里"。现代 NLP 的灵魂。
- Transformer:取代 RNN 的架构,当前所有大模型的基础。
- 大语言模型:NLP 70 年积累的集大成者。人话计算机终于能接了。