← 返回首页 📚 实战课程
📑 本篇章节导航 (共5章,点击直达)
本节目标(学完能回答的面试题)核心知识(1小时精讲内容)面试速记卡(考前30秒速看)练习题(自测)学习资料

L24 - RAG管道完整实现

本节目标(学完能回答的面试题)

核心知识(1小时精讲内容)

1. RAG完整流程(7步)


┌──────────────────────────────────────────────────────┐
│               离线索引阶段(数据准备)                  │
│                                                      │
│  Step 1: 文档加载                                     │
│    PDF/Word/Markdown/TXT → 解析提取文本               │
│                                                      │
│  Step 2: 文档分块(Chunking)                           │
│    长文本 → 切成512 token的小块                       │
│                                                      │
│  Step 3: Embedding向量化                              │
│    文本块 → Embedding模型 → 固定维度向量               │
│                                                      │
│  Step 4: 存入向量数据库                               │
│    向量 + 原文 + 元数据 → Milvus/PGVector              │
└──────────────────────────────────────────────────────┘
                        ↓
┌──────────────────────────────────────────────────────┐
│               在线查询阶段(用户使用)                  │
│                                                      │
│  Step 5: 查询向量化                                   │
│    用户问题 → 同一个Embedding模型 → 查询向量           │
│                                                      │
│  Step 6: 向量检索                                     │
│    查询向量 vs 数据库所有向量 → Top-K最相似的文档块     │
│                                                      │
│  Step 7: 生成回答                                     │
│    检索结果 + 用户问题 → 拼接Prompt → LLM生成回答      │
└──────────────────────────────────────────────────────┘

2. 文档分块策略(面试常问)

策略方法适用场景
固定长度每512 token切一块简单通用
按段落/标题Markdown标题分割结构化文档
语义分块Embedding相似度变化点精度要求高
递归分割先大块再小块递归LangChain默认

块大小选择:
  太小(128): 语义不完整,上下文缺失
  太大(2048): 检索不精准,包含无关信息
  推荐: 256~512 token,重叠50~100 token

重叠(Overlap)为什么重要:
  "分块边界"可能切断关键信息,重叠确保边界处信息不丢失

3. Embedding模型选型

模型维度上下文特点适用场景
BGE-M310248192Dense+Sparse+ColBERT中文首选
BGE-Large-zh-v1.51024512中文专项优化纯中文短文本
text-embedding-3-large30728191OpenAI出品预算充足
M3E-Base768512轻量开源资源受限

选型维度(面试必问):
1. 语言: 纯中文→BGE-Large-zh / 多语言→BGE-M3
2. 文本长度: 短(<512)→普通 / 长文档→BGE-M3(8192)
3. 检索模式: 只需Dense→BGE-Large-zh / 混合→BGE-M3(内置Sparse)
4. 部署: API→OpenAI / 本地→BGE系列(开源)

存储估算: 768维float32 = 3KB/条 → 百万条约3GB

4. 向量数据库对比

数据库类型特点适用场景
Milvus专用分布式、Dense+Sparse、Java SDK完善生产首选
Qdrant专用Rust实现、P99<20ms中小项目/高性能
Pinecone云服务全托管、免运维快速上线
PGVectorPG扩展复用PostgreSQL已有PG的项目
Chroma专用Python生态、简单原型开发

向量检索算法:
  精确搜索: 暴力遍历O(n) → 数据量大时不可用

  近似最近邻(ANN):
    HNSW: 分层图结构,查询速度快 → Milvus/Qdrant默认
    IVF: 聚类后只搜最近的几个 → 速度快,精度略降
    PQ: 向量压缩编码 → 适合亿级超大规模

  生产推荐: HNSW(百万级) / IVF+PQ(亿级)

相似度计算:
  余弦相似度(Cosine): 最常用,[-1,1],越大越相似
  欧氏距离(L2): 越小越相似
  内积(IP): 适合已归一化的向量

5. 混合检索 + Rerank(进阶考点)


为什么纯向量检索不够:
  "SKU-2024-A"这种产品编号,向量检索匹配不到(没有语义信息)
  → 需要关键词精确匹配(BM25)

混合检索:
  向量检索(Dense) → Top-20 语义匹配
  + BM25检索(Sparse) → Top-20 关键词匹配
  → RRF(Reciprocal Rank Fusion)融合排序 → Top-10

Rerank重排序:
  Top-10 → bge-reranker-v2-m3精排 → 过滤<0.7的
  → 最终得到最相关的文档块

优化历程(面试讲法):
  v1.0 纯向量检索:            准确率72%
  v2.0 混合检索(Dense+Sparse): 准确率83%
  v3.0 + Rerank重排序:         准确率91%

6. Spring AI实现RAG


@Service
public class RagService {

    @Autowired private VectorStore vectorStore;
    @Autowired private ChatClient chatClient;

    public String ask(String question) {
        // Step 5-6: 向量检索
        List<Document> docs = vectorStore.similaritySearch(
            SearchRequest.builder()
                .query(question)
                .topK(5)
                .similarityThreshold(0.7)
                .build()
        );

        // 拼接上下文
        String context = docs.stream()
            .map(Document::getContent)
            .collect(Collectors.joining("\n\n"));

        // Step 7: LLM生成
        return chatClient.prompt()
            .system("基于以下上下文回答,如果上下文中没有相关信息请说明。\n\n" + context)
            .user(question)
            .call()
            .content();
    }
}

用Advisor简化:


// QuestionAnswerAdvisor = 一步完成RAG检索+Prompt拼接
chatClient.prompt()
    .user(question)
    .advisors(new QuestionAnswerAdvisor(vectorStore))
    .call()
    .content();

7. 与你项目对照:自定义ZhiPuAiVectorStore


你的项目为什么不用Milvus而是自定义VectorStore:

原因: GLM知识库API提供了完整的向量存储和检索能力,
      不需要额外部署Milvus,降低运维成本。

实现:
  自定义ZhiPuAiVectorStore implements VectorStore
  → add(): 调用GLM API存储向量
  → similaritySearch(): 调用GLM API检索

额外能力:
  - 查询压缩: 将用户问题压缩为关键词再检索
  - 多查询扩展: 一个问题扩展为多个检索query,提高召回率

面试讲法:
"我们自定义了VectorStore对接GLM知识库API,
省去了独立部署向量数据库的运维成本。
同时实现了查询压缩和多查询扩展,提高检索召回率。
如果未来需要切换到Milvus,只需实现新的VectorStore,
业务代码不需要改动——这是Spring AI抽象层的好处。"

面试速记卡(考前30秒速看)

练习题(自测)

1. 画出RAG的完整7步流程图,标注每一步的输入和输出

2. 为什么文档分块需要重叠(Overlap)?如果不重叠会有什么问题?

3. 场景题:FAQ类问题用纯向量检索效果好,还是混合检索好?为什么?

4. 如果面试官问"为什么不用Milvus",你怎么解释自定义VectorStore的设计决策?

5. 查询压缩和多查询扩展分别解决什么问题?怎么实现的?

学习资料