基础概念 · 特工宇宙
跟机器聊天之前,机器在干嘛?
你打开对话框,打了一行字,敲回车。对面秒回。看起来像在跟人聊天。但对面不是人。是数学。
你一秒钟读懂这句话:"我今天心情不太好。"机器读到的是一堆数字:[101, 234, 567, 891, 2345]。这些数字本身毫无含义。但经过十几步加工,机器能从那堆数字里"猜"出你在表达情绪。
这个过程叫 NLP。自然语言处理。说白了就一件事:怎么让只认识 0 和 1 的计算机,看懂人说的话。
我拆给你看。
1. 第一步,切碎
拿到一句话,机器做的第一件事不是"理解",是切。
"我今天心情不太好。"先切成小块对吧——"我""今天""心情""不太好"。对了一半。机器是按"意思单元"切的,不是按字。一个单元叫一个
你可以想象成做菜。你给了机器一整条鱼——一句话。它先把鱼切成鱼片——Token。鱼片大小差不多一致,才能下锅。
这步叫分词,或者 Tokenization。中文比英文麻烦,因为句子中间没有空格。英文 "I'm feeling down today" 天然是分开的。中文"我今天心情不太好"全粘在一起。所以中文学 NLP 的人,第一课就是跟分词工具打交道。
找任何一个 LLM 的 Tokenizer 可视化工具,输入你的话,它能当场给你展示每个 Token 用不同颜色标出来。你亲眼看着机器怎么切你的话。试试输入"我今天心情不太好"和"I'm feeling down",对比一下切法差多少。
2. 第二步,编号
切完还不能直接算。机器只认数字。
每个 Token 被分配一个编号。"我"= 1042,"今天"= 5678,"心情"= 2341。这一步叫
但编号就是编号,不承载含义。1042 比 5678 小,不代表"我"比"今天"更重要。编号的顺序只是字典里的顺序,跟语义没有半毛钱关系。
所以需要第三步。
3. 第三步,变向量
编号没有意义,那就给每个 Token 换一串有结构的数字——向量。
"心情"变成这样一串:[0.23, -0.67, 0.89, 0.12, -0.34, ...]。一共 768 个数字。这叫
核心设计就一个规则:语义相近的词,它们在数学空间里的位置也靠得近。"心情"和"情绪"的向量距离很近。"心情"和"桌子"的向量距离很远。距离用"余弦相似度"算,0 到 1 之间,越接近 1 越相似。
去 Hugging Face 找一个开源的 Embedding 模型。输入"高兴""开心""桌子"。模型会返回三串向量。算一下两两之间的余弦相似度:"高兴"和"开心"通常在 0.7 以上,"高兴"和"桌子"可能只有 0.1。数字不会骗人。
4. 第四步,看上下文
向量有了,但同一个词在不同句子里的意思不一样。
"我吃了一个苹果。" "我买了一个苹果。"第一个是水果,第二个是手机。机器怎么分?看上下文。"吃"的旁边,苹果多半是水果。整段话在聊数码产品,那偏向手机。
这个"看上下文"的机制叫
当前所有大模型——GPT、Claude、文心、通义——底层都是这套注意力机制。只不过规模放大了上万倍,词表从几万扩到几十万,向量维度从 768 涨到 4096 甚至更高。
5. 这跟你有什么关系
你每给 ChatGPT 发一句话,它内部都跑了这一整套:分词 → 编号 → 嵌入 → 注意力计算 → 预测下一个词。全流程被压进了不到一秒。
你知道这些有什么用?下次 AI 回答跑偏了,你能猜到可能是哪一步出问题。分词没切对?上下文没看全?向量空间里找错了邻居?你有排查的方向了。
说透了。NLP 不是什么玄学,是一套有清晰步骤的数学流水线。把字变成数,在数里找关系,用关系猜意图。你聊天的对象,底层逻辑就这么简单。
6. 相邻概念
- Token:NLP 操作的最小单元,分词的直接产出。不同模型词表大小从几万到几十万不等。
- 嵌入(Embedding):把 Token 编号转为向量的技术,核心是让语义相近的词在数学空间里靠拢。
- 注意力机制(Attention):让模型同时"看到"所有词,2017 年之后取代了顺序阅读,成为所有大模型的基础。
- Transformer:2017 年提出的架构,核心是注意力+多层堆叠。GPT 和 BERT 都是它的小改版。
- 大语言模型(LLM):NLP 流水线集成后的大一统产物。一个模型吃下所有步骤,不用再为每个任务单独搭流程。