┌──────────────────────────────────────────────────────┐
│ 离线索引阶段(数据准备) │
│ │
│ Step 1: 文档加载 │
│ PDF/Word/Markdown/TXT → 解析提取文本 │
│ │
│ Step 2: 文档分块(Chunking) │
│ 长文本 → 切成512 token的小块 │
│ │
│ Step 3: Embedding向量化 │
│ 文本块 → Embedding模型 → 固定维度向量 │
│ │
│ Step 4: 存入向量数据库 │
│ 向量 + 原文 + 元数据 → Milvus/PGVector │
└──────────────────────────────────────────────────────┘
↓
┌──────────────────────────────────────────────────────┐
│ 在线查询阶段(用户使用) │
│ │
│ Step 5: 查询向量化 │
│ 用户问题 → 同一个Embedding模型 → 查询向量 │
│ │
│ Step 6: 向量检索 │
│ 查询向量 vs 数据库所有向量 → Top-K最相似的文档块 │
│ │
│ Step 7: 生成回答 │
│ 检索结果 + 用户问题 → 拼接Prompt → LLM生成回答 │
└──────────────────────────────────────────────────────┘
| 策略 | 方法 | 适用场景 |
|---|---|---|
| 固定长度 | 每512 token切一块 | 简单通用 |
| 按段落/标题 | Markdown标题分割 | 结构化文档 |
| 语义分块 | Embedding相似度变化点 | 精度要求高 |
| 递归分割 | 先大块再小块递归 | LangChain默认 |
块大小选择:
太小(128): 语义不完整,上下文缺失
太大(2048): 检索不精准,包含无关信息
推荐: 256~512 token,重叠50~100 token
重叠(Overlap)为什么重要:
"分块边界"可能切断关键信息,重叠确保边界处信息不丢失
| 模型 | 维度 | 上下文 | 特点 | 适用场景 |
|---|---|---|---|---|
| BGE-M3 | 1024 | 8192 | Dense+Sparse+ColBERT | 中文首选 |
| BGE-Large-zh-v1.5 | 1024 | 512 | 中文专项优化 | 纯中文短文本 |
| text-embedding-3-large | 3072 | 8191 | OpenAI出品 | 预算充足 |
| M3E-Base | 768 | 512 | 轻量开源 | 资源受限 |
选型维度(面试必问):
1. 语言: 纯中文→BGE-Large-zh / 多语言→BGE-M3
2. 文本长度: 短(<512)→普通 / 长文档→BGE-M3(8192)
3. 检索模式: 只需Dense→BGE-Large-zh / 混合→BGE-M3(内置Sparse)
4. 部署: API→OpenAI / 本地→BGE系列(开源)
存储估算: 768维float32 = 3KB/条 → 百万条约3GB
| 数据库 | 类型 | 特点 | 适用场景 |
|---|---|---|---|
| Milvus | 专用 | 分布式、Dense+Sparse、Java SDK完善 | 生产首选 |
| Qdrant | 专用 | Rust实现、P99<20ms | 中小项目/高性能 |
| Pinecone | 云服务 | 全托管、免运维 | 快速上线 |
| PGVector | PG扩展 | 复用PostgreSQL | 已有PG的项目 |
| Chroma | 专用 | Python生态、简单 | 原型开发 |
向量检索算法:
精确搜索: 暴力遍历O(n) → 数据量大时不可用
近似最近邻(ANN):
HNSW: 分层图结构,查询速度快 → Milvus/Qdrant默认
IVF: 聚类后只搜最近的几个 → 速度快,精度略降
PQ: 向量压缩编码 → 适合亿级超大规模
生产推荐: HNSW(百万级) / IVF+PQ(亿级)
相似度计算:
余弦相似度(Cosine): 最常用,[-1,1],越大越相似
欧氏距离(L2): 越小越相似
内积(IP): 适合已归一化的向量
为什么纯向量检索不够:
"SKU-2024-A"这种产品编号,向量检索匹配不到(没有语义信息)
→ 需要关键词精确匹配(BM25)
混合检索:
向量检索(Dense) → Top-20 语义匹配
+ BM25检索(Sparse) → Top-20 关键词匹配
→ RRF(Reciprocal Rank Fusion)融合排序 → Top-10
Rerank重排序:
Top-10 → bge-reranker-v2-m3精排 → 过滤<0.7的
→ 最终得到最相关的文档块
优化历程(面试讲法):
v1.0 纯向量检索: 准确率72%
v2.0 混合检索(Dense+Sparse): 准确率83%
v3.0 + Rerank重排序: 准确率91%
@Service
public class RagService {
@Autowired private VectorStore vectorStore;
@Autowired private ChatClient chatClient;
public String ask(String question) {
// Step 5-6: 向量检索
List<Document> docs = vectorStore.similaritySearch(
SearchRequest.builder()
.query(question)
.topK(5)
.similarityThreshold(0.7)
.build()
);
// 拼接上下文
String context = docs.stream()
.map(Document::getContent)
.collect(Collectors.joining("\n\n"));
// Step 7: LLM生成
return chatClient.prompt()
.system("基于以下上下文回答,如果上下文中没有相关信息请说明。\n\n" + context)
.user(question)
.call()
.content();
}
}
用Advisor简化:
// QuestionAnswerAdvisor = 一步完成RAG检索+Prompt拼接
chatClient.prompt()
.user(question)
.advisors(new QuestionAnswerAdvisor(vectorStore))
.call()
.content();
你的项目为什么不用Milvus而是自定义VectorStore:
原因: GLM知识库API提供了完整的向量存储和检索能力,
不需要额外部署Milvus,降低运维成本。
实现:
自定义ZhiPuAiVectorStore implements VectorStore
→ add(): 调用GLM API存储向量
→ similaritySearch(): 调用GLM API检索
额外能力:
- 查询压缩: 将用户问题压缩为关键词再检索
- 多查询扩展: 一个问题扩展为多个检索query,提高召回率
面试讲法:
"我们自定义了VectorStore对接GLM知识库API,
省去了独立部署向量数据库的运维成本。
同时实现了查询压缩和多查询扩展,提高检索召回率。
如果未来需要切换到Milvus,只需实现新的VectorStore,
业务代码不需要改动——这是Spring AI抽象层的好处。"
1. 画出RAG的完整7步流程图,标注每一步的输入和输出
2. 为什么文档分块需要重叠(Overlap)?如果不重叠会有什么问题?
3. 场景题:FAQ类问题用纯向量检索效果好,还是混合检索好?为什么?
4. 如果面试官问"为什么不用Milvus",你怎么解释自定义VectorStore的设计决策?
5. 查询压缩和多查询扩展分别解决什么问题?怎么实现的?