23.2 给过一张入门菜单(Redis/PgVector/Milvus 按量级选),这一节下到深水区回答三个追问:为什么 MySQL 和 ES 不能直接干这活?百万级向量的检索为什么不用暴力遍历?Embedding 模型怎么选、存储要花多少钱?——向量数据库选型(为语义检索场景挑选存储与检索引擎的决策)是把 RAG 从 demo 推向生产的必答题。
第一问先破直觉。MySQL 的全文索引是关键词匹配:「如何优化查询」与「查询变慢怎么办」说的同一件事,但两个词面不相交,全文索引一条也匹配不到——它不理解语义。ES 的 BM25 基于词频统计,比 MySQL 强在同义词表可以人工配,但「语义相近而字面全异」依然无解。向量库的底牌是 Embedding(22.1 的概念:把文本映射成语义空间里的向量)——上面两句话的向量距离非常近,相似度检索直接命中。所以选型的第一性判断:需求是「字面检索」还是「语义检索」——订单号精确查走 B 树,自然语言找资料走向量;而真实系统常常两者都要,这就是 24.1 混合检索的由来。
一百万条 768 维向量,暴力遍历算一遍相似度是秒级——不可用。生产向量库全靠 ANN(近似最近邻检索:牺牲少量精度换取数量级加速的算法族)。三种主力:HNSW(分层可导航小世界图:顶层稀疏大步跳、底层稠密精定位,像高速公路转省道县道的导航)——查询快、内存占用高,是 Milvus 与 Qdrant 的默认,百万级首选;IVF(倒排文件索引:先聚类分桶,查询只搜最近的几个桶)——速度快精度略降,桶数是精度与速度的旋钮;PQ(乘积量化:把向量切段压缩编码,内存降一个数量级)——亿级规模的省钱术。生产组合拳:百万级 HNSW、亿级 IVF 加 PQ。「近似」二字的代价要认:召回率不是 100%,HNSW 的 ef 参数调大换精度换时间——知道自己在用什么换什么,是这节的考点。相似度口径三种:余弦相似度(最常用,越大约相似)、欧氏距离(越小越近)、内积(归一化后等价余弦)——写入与查询必须同一口径,与 23.2「Embedding 模型必须一致」是同一条铁律的两侧。
| 引擎 | 类型 | 特点 | 适用 |
|---|---|---|---|
| Milvus | 专用 | 分布式、Dense+Sparse 混检、Java SDK 全 | 生产首选 |
| Qdrant | 专用 | Rust 实现、P99<20ms、原生多向量 | 中小高性能 |
| pgvector | PG 扩展 | 复用 Postgres 事务生态 | 已有 PG |
| Elasticsearch | 混合 | 8.x 向量+knn+BM25 一库双吃 | 已有 ES |
| Redis | 内存 | 复用缓存设施、延迟低 | 中小规模 |
| Chroma | 专用 | 轻量简单 | 原型验证 |
| Pinecone | 云服务 | 全托管免运维 | 快速上线 |
选型决策树三问:已有设施是什么——有 PG 选 pgvector、有 ES 选 ES 8.x,别为向量单独养一套集群(23.2 的老原则在深水区依然成立);量级多大——千万级以下 Qdrant 单机绰绰有余,亿级或要多副本容灾才上 Milvus 分布式;要不要混检——Milvus 2.5 起内置 Sparse-BM25 全文检索,一条查询同时走 Dense 与 Sparse 两路、RRF 融合直接在库内完成,以前要自建 ES 补 BM25 的架构被收敛成一个引擎——这个新特性是当下选型的热点变量。Qdrant 的差异化也记一笔:单机高性能(P99 低于 20 毫秒)、量化压缩内存降四到八倍,中小规模的高性价比之选。
向量库的灵魂是灌进去的向量,Embedding 模型选型四维:语言——纯中文 BGE-Large-zh,多语言 BGE-M3;长度——短文本普通模型够,长文档要 8192 上下文的 BGE-M3;检索模式——只需 Dense 用普通模型,要混合检索 BGE-M3 内置 Sparse 一站配齐;部署——API 省事(OpenAI 系),本地开源省 钱(BGE 系列)。存储账动手算:768 维 float32 每条约 3KB,百万条约 3GB,加上 HNSW 图的索引开销还要乘个系数——量级估算进容量规划,别等磁盘满了才发现向量库是内存大户。最后把 23.2 的红线再钉一遍:写入与查询必须同一个模型;要换模型等于换语言,全量重新向量化入库,迁移成本先算再动。
选完引擎还有一笔运维账常被漏算:备份与容量水位。向量库的「数据」不只是向量——原文、元数据、索引结构三位一体,备份策略要能整库重建(Milvus 的 collection 快照、pgvector 跟着 PG 的备份走——后者复用既有 DBA 体系正是它最大的隐藏优势);容量上 HNSW 是内存大户,监控里给向量数与内存水位画两条线,增长曲线外推到阈值前就该规划扩容或启用量化压缩——等到查询超时才发现内存吃满,是向量库最贵的事故。
向量数据库选型的底层是三笔账:语义检索决定必须上向量、ANN 算法决定能扛多大规模、已有设施与容量估算决定选哪个引擎——菜单可以背,但决策树才是带走的东西。