AI 智能体
概念解析——向量数据库
向量数据库是专为嵌入向量设计的存储与检索系统。它不存整篇文章,而是存每个片段对应的向量和原文。用户提问时,它从海量片段里找出意思最接近的几个,把原文交给 AI 作回答依据。RAG 系统的检索环节就靠它。
1. 它跟普通数据库有什么不同
传统数据库存的是有明确结构的行和列:用户表、订单表、商品表。你查"价格大于 100 的商品",它精确返回。条件写死了,结果就是确定的。
向量数据库存的是向量——数百到数千维的浮点数序列。它不回答"等于多少钱",而是回答"哪几条内容跟这个问题最像"。精确匹配和模糊相似,这是两类数据库最根本的分界。
对比几个核心差异:传统数据库用 B-tree 或哈希做精确索引,向量数据库用 IVF 或 HNSW 做近似最近邻索引;传统数据库做等值或范围查询,向量数据库做 top-K 相似度查询;传统数据库要求数据有固定 schema,向量数据库只要求每行有一条向量,其他字段随意。
它们不是替代关系。生产环境里两类数据库经常配合使用——向量数据库负责找候选,传统数据库负责查精确字段。
2. 一条资料进库,经历了什么
一份员工手册或产品文档要能被搜索,进库时经过四步:
切块
长文档先切成小段,每段几百到上千字。检索时只取相关片段,AI 不用吞完整手册。这段在哪切、重叠多少,直接影响后面的检索质量。相关的细节在相邻概念 文本分块 里有专门讨论。
向量化
每段文字交给嵌入模型,算出一串向量。这个向量代表这段文字的语义位置——意思接近的文字,向量距离也近。嵌入模型的质量决定了向量能保留多少语义信息。相关的背景在相邻概念 嵌入 里详细展开。
→ 嵌入模型 → [0.42, -0.11, 0.78, 0.23, -0.36, 0.64, 0.08, -0.51](真实向量通常 768~4096 维,此处仅示意)
附加元数据
向量旁边还要存原文、文档名、版本号、部门、权限范围等信息。这些字段不参与相似度计算,但会在检索后做过滤——用户没权限看的内容,向量再像也不能返回。
写入索引
新来的向量不是简单追加到列表末尾。向量数据库会把它放进一个索引结构里,把它和邻近的向量连接起来,为后面的快速搜索修好路。
3. 用户提问时,它怎么找人
用户问一句"员工离职后年假还能折现吗",这串文字系统也会调用同一个嵌入模型,算出一个向量。接下来就是向量数据库的主场:在已经存好的成千上万条向量里,找出离这个新向量最近的几条。
这里有两个关键参数:
- Top-K:取回几条候选。取太少容易漏掉相关内容,取太多会把无关碎片塞给 AI。常见取值 3~10,具体要看切片粒度和任务类型。
- 距离度量:怎么定义"近"。常用的是余弦相似度(看方向是否一致)和欧氏距离(看绝对位置是否接近)。不同嵌入模型推荐的距离算法不一样。
数据库中最近的几条:
"离职结算规则"(距离 0.94)→ 命中
"未休年假折算"(距离 0.89)→ 命中
"调休申请流程"(距离 0.52)→ 跳过
查询的最后一步:命中的几条片段会带着原文和出处,一起交给 LLM 做回答。LLM 看到的是原文,不是那串数字。
4. 快是靠索引换来的
几百万条向量,每条几千维,逐条比对要算几十亿次浮点运算——线上服务等不起。向量数据库用索引结构来换取速度。
主要的索引方法有三类:
倒排文件索引
先把向量空间划分成 K 个区域(用 K-means 聚类),每个区域有一个中心点。查询进来时,先找到离问题最近的 N 个区域,在这些区域内部搜索,跳过其他区域。调整 nprobe 参数可以控制搜多少个区域——搜得越多越准、越慢。
IVF 的优点是实现简单、内存占用可控。缺点是召回率对参数敏感,如果问题落在区域边界附近,可能漏掉仅一墙之隔的最近邻。
分层可导航小世界图
这是目前最流行的索引方法。它构建多层图结构:顶层节点稀疏(长程跳),底层节点密集(精细搜)。搜索从顶层入口点开始,沿着图中"更近"的邻居向下层移动,逐层逼近目标区域。
HNSW 的查询速度和召回率都很高,但代价是索引构建时间长、内存消耗大。它是"用建索引的时间换查询的速度"。大部分生产级向量数据库(Qdrant、Weaviate、Milvus)都把 HNSW 作为默认或首选索引。
乘积量化
乘积量化不改变搜索路径,它压缩向量本身。把高维向量切成若干子段,每个子段用码本做有损压缩。结果一个 768 维向量可以从 3072 字节压缩到 96 字节左右,内存占用降到几十分之一。
代价是精度损失。PQ 通常和 IVF 配合使用(IVF+PQ),先缩小搜索范围,再在压缩后的向量上快速算距离。适合内存紧张的超大规模场景。
5. 近似 vs 精确:召回率换速度
精确搜索(暴力搜索):每条比一遍,保证返回全局最近邻。准确率 100%,但 O(n) 的时间复杂度在百万级数据量以下还能接受,往上就跑不动了。
近似搜索(ANN,Approximate Nearest Neighbor):利用索引结构跳过大部分向量,返回足够近但不是绝对最近的邻居。速度比精确搜索快几个数量级,损失的只是一小部分召回率。
召回率是衡量近似搜索质量的核心指标。召回率 0.95 表示在近似搜索返回的 Top-K 结果里,包含了精确搜索 Top-K 中 95% 的真实最近邻。大多数生产系统可以接受 0.90~0.99 的召回率,换来几十到几百倍的加速。
精确搜索:10 ms/query · 召回率 1.0
IVF(nprobe=10):1 ms/query · 召回率 ~0.95
HNSW(efSearch=128):0.8 ms/query · 召回率 ~0.98
IVF+PQ:0.3 ms/query · 召回率 ~0.88
(数据仅供参考,实际表现取决于数据分布和硬件)
6. 向量搜索的软肋
向量搜索擅长找"意思像",但碰上特定类型的信息会翻车。
- 日期和版本:"2026-03-01 生效的是哪版"——向量搜索看的是语义,很可能把 2025 版的相似内容排在前面。日期需要精确匹配,交给元数据过滤更可靠。
- 金额和数值:"报销上限是 800 还是 1000"——相差几个数字,意思可以完全不一样。向量搜索只能把相关政策的候选找出来,精确数值要靠关键词匹配或结构化查询。
- 编号和代号:"POL-HR-2047 是什么"——编号像钥匙,更像精确匹配的活。向量搜索会把"POL-FN-2047"(编号相似但不同部门)也排进来造成干扰。
所以成熟的生产系统不会只用向量搜索。它和传统关键词搜索各管一摊,向量搜索找候选,关键词搜索做精确匹配。
7. 混合检索
混合检索把向量相似度和关键词匹配分数结合起来,重排之后输出最终结果。用户搜"POL-HR-2047 年假折算",系统同时跑两路:向量通道找到语义相关的"离职结算规则",关键词通道精确命中编号。最后加权求和,重新排序。
混合的权重可以调节。偏语义还是偏关键词,取决于业务场景。文档搜索系统通常把关键词权重设高一些,因为政策文档里编号和术语很关键;开放式问答则可以偏向量多一些,因为用户的表述可能和原文完全不重样。
多数向量数据库要么内置了混合检索能力(Qdrant、Weaviate),要么提供了和 Elasticsearch 等搜索服务无缝集成的接口。
8. 主流选项一览
向量数据库的生态在过去两三年迅速分化。下面按场景粗分几类:
| 产品 | 定位 | 运维方式 | 适合场景 |
|---|---|---|---|
| pgvector | PostgreSQL 插件 | 自管 | 已经在用 Postgres,先跑起来验证 |
| Chroma | 轻量嵌入式 | 自管 | 开发原型、小项目,API 最简洁 |
| Qdrant | 专用向量数据库 | 自管 / 托管 | 需要专门的向量服务,运维别太重 |
| Weaviate | 向量+对象混合 | 自管 / 托管 | 需要内建混合检索和图式验证 |
| Milvus | 大规模分布式 | 自管 | 海量数据,团队有检索基础设施经验 |
| Pinecone | 全托管 SaaS | 托管 | 不想管服务器,快速上线 |
| Elasticsearch / OpenSearch | 搜索服务扩展 | 自管 / 托管 | 已有搜索系统,需要加入语义搜索 |
选型没有标准答案。数据量(几万条 pgvector 足以、几亿条要上 Milvus)、团队运维能力(有无专职运维)、是否需要混合搜索、延迟要求——这些因素比产品功能列表更重要。真正的验证还得用自己的数据和 query 模式做压力测试。
9. 把它放回 RAG 全景里
向量数据库只是 RAG 链条上的一环,它前后还有事情要做:
- 前一步:文本分块(Chunking)——决定资料怎么切,直接影响召回质量。
- 再前一步:嵌入(Embedding)——把文字变成向量,模型的选择决定语义保留多少。
- 后一步:召回与重排(Recall & Rerank)——向量库拿回候选后,用更精细的模型二次排序,提升最终给 LLM 的内容质量。
- 再后一步:RAG 问答(RAG)——把检索结果拼进提示词,让大模型基于资料生成回答。
10. 相邻概念
向量数据库不是孤立的知识点。你接下来可以顺着这些方向深入:
- 文本分块(Chunking):长资料进库前先切小块。段落的边界和重叠策略直接影响检索质量。
- 嵌入(Embedding):把文字、图片、音频变成向量的技术。向量的质量决定了检索的上限。
- RAG 检索增强生成:把检索结果拼进问题里再让 AI 回答的完整流程。向量数据库是其中一环。
- 召回与重排序:向量库先找候选,再用更精确的模型做二次排序。提升最终进入 LLM 上下文的内容质量。
- 上下文窗口:检索回来的片段最终要塞进 LLM 的上下文窗口。窗口大小限制了你能喂多少资料。