基础概念
概念解析——嵌入(Embedding)
搜索"年假怎么算",出来的是"入职多久能休假"。关键词没有一个是重合的,但你知道这两句问的是同一件事。让计算机也做到这一点,就是 Embedding 要解决的事。嵌入(Embedding)把文字(也可以是图片、声音)变成一串数字——叫向量(vector)。变成向量之后,机器就能按意思比较内容,而不是按字面匹配。
1. 什么是 Embedding
计算机不认识"年假""报销""周末"这些词的含义。只认数字。要让计算机处理语言,第一步就是把词转成它能操作的形式。
早期的方法给每个词分配一个独立编号——"年假"是 1,"报销"是 2,"周末"是 3。这叫 one-hot 编码。问题是编号之间没有远近关系。1 和 2 的差距跟 1 和 10000 的差距完全一样,计算机学不到"年假和报销都是公司制度"这种语义关联。
Embedding 换了个做法。每个词不映射成一个编号,而是一组实数——比如 768 个小数。这一组数字在空间中对应一个位置。语义相近的词,位置彼此靠近;语义无关的词,位置离得远。
"请假"的向量跟它很近,"报销"的向量稍远一些,"周末"的向量离得更远。机器判断"意思像不像",就变成了判断这两个向量的距离近不近。
2. 为什么需要 Embedding
没有 Embedding 之前,计算机搜索只能按关键词匹配。你搜"年假怎么算",它找的是同时包含"年假"和"算"的文档。换一句"入职多久能休假",关键词没有重合,传统搜索就无能为力了。
Embedding 把用户问题和文档片段放到同一张"意思地图"上。问题变成向量,文档也变成向量。系统只需要算一下距离,找出离问题最近的几段文字。说法变了,意思相近,照样能找出来。
这种能力在现实中有大量用处。客服机器人回答前先翻知识库、内容平台推荐相似文章、工单系统自动合并重复问题——背后都靠 Embedding 做第一轮筛选。
3. 向量空间的奇妙性质
词向量真正让人意外的地方,是它学会了语言中的隐含结构,不只是死记硬背。
2013 年 Google 的 Mikolov 团队发表了 Word2Vec,在大量文本上训练词向量。训练完成后人们发现一个惊人的现象:向量之间可以做加减法。
用词向量算一下:king − man + woman,结果向量最接近的词是 queen。用中文也一样:"国王"减去"男人"加上"女人",最接近的词是"女王"。
模型在数值空间中学到了"男性/女性"这个抽象维度。没有人教过它任何语法知识,仅仅从词共现的统计规律中,它就归纳出了语义的某种代数结构。
更宽泛地说,Embedding 把语义关系映射成了空间中的几何关系。同类的事物聚成簇,不同类的事物分开。这个性质构成了后续一切深度学习的起点。
4. 现代 LLM 如何使用 Embedding
今天的 Transformer 大模型不再使用独立的 Word2Vec 做嵌入层。嵌入层被设计成神经网络的一部分,在训练过程中端到端地更新。但核心思想没变:每个 token 都需要对应一个向量,模型的全部操作都发生在这个向量空间里。
大模型的工作流程大致是:
- 分词:原始文本先被切成 token("今天天气真好" → ["今天", "天气", "真好"])。
- 嵌入:每个 token 查找嵌入表,变成一个向量(比如 4096 维)。
- 逐层变换:向量经过几十层 Transformer 块,每一层都在调整这些向量的位置和方向。
- 生成:最后一层输出的向量被映射回 token 概率,选出下一个词。
这里有一个重要区分:模型内部每一层都有向量,它们都属于"表示空间"(representation space)。但平时所说的 Embedding,通常特指第一层嵌入表输出的向量,或者模型中间某层拿出来做检索用的向量。前者已经训练好固定下来,后者会随上下文动态变化。
Embedding 在 RAG(检索增强生成)系统中出现在检索这一步。用户问题被嵌入成向量,和预先嵌入好的资料库做距离对比,找出最相关的几段,再交给大模型生成答案。Embedding 不负责回答,只负责"找到对的材料"。
5. 嵌入维度与模型容量
嵌入维度——每个 token 对应几个数字——是一个重要的设计参数。早期的 Word2Vec 常用 300 维。BERT-base 用 768 维。GPT-3 用 12288 维。GPT-4 的嵌入维度没有公开,但只会更高。
维度越高,能编码的信息越丰富。高维空间可以容纳更细微的语义差异,也能区分更多不同的概念。但代价也明显:
- 存储成本:每个 token 都需要保存一个大向量。词表 5 万、维度 4096,单是嵌入表就占 5 万 × 4096 × 4 字节 ≈ 800 MB。
- 计算成本:后续的注意力机制要在所有向量之间做运算,维度越高计算量越大。
- 过拟合风险:维度太高而训练数据不够时,模型可能记住噪声而不是语义规律。
高维向量空间中存在一个"维数灾难"现象:维度越高,任意两个向量之间的距离越趋近于相等。远近距离的意义会退化。实际工程中不会一味增加维度,而是根据任务复杂度、数据量、计算预算来选。
6. Embedding 的局限
Embedding 在实践中几处容易出问题:
- 查询太短:只搜"制度"这种单个词,信息量太少,系统很难找准方向。
- 精确信息:合同编号、订单号、金额、日期需要精确匹配,Embedding 天然偏好"意思相近"而非"一模一样"。
- 文档切分不当:一段话如果被切到两个片段里,两边各自嵌入后都会丢失上下文,检索时会漏掉。
解决方法:查询补完整、加关键词筛选、设置合理的文档切分粒度。在实际系统中,Embedding 很少单打独斗,常和传统搜索、规则过滤配合使用——这叫混合检索(hybrid search)。
7. 相邻概念
Embedding 不是一个孤立的概念。你可以顺着这些方向继续深入:
- 自然语言处理(NLP):Embedding 所属的更大领域,解决"让计算机理解语言"这个根本问题。
- Token:被嵌入的最小单元。分词怎么做决定了嵌入表里有什么。
- 表示空间(Representation Space):模型中每一层都有向量表示,嵌入只是第一层。更高层的向量编码了更抽象的信息。
- Transformer:取代 RNN 的架构,当前所有大模型的基础。它的自注意力机制全部操作在向量空间中进行。
- 大语言模型(LLM):Embedding 今天最耀眼的应用场景。
- 向量数据库:专门存储和检索 Embedding 的基础设施。
- RAG:Embedding 负责"找资料"的典型应用模式。