23.2 的 QuestionAnswerAdvisor 三行接入了 RAG,但「检索质量上不去」的追问才刚刚开始:为什么召回的是无关片段?为什么编号类查询全 miss?这一节把 RAG 管道(Retrieval-Augmented Generation 检索增强生成的完整工程链路)拆到每一步可调优——它是 22.1 里「长上下文 vs RAG」选择题的工程兑现。
离线索引:文档加载(PDF/Word/MD解析) → 分块(Chunking)
→ Embedding向量化 → 存入向量库(向量+原文+元数据)
在线查询:查询向量化(同一个Embedding模型)
→ 向量检索(Top-K相似块) → 拼Prompt生成回答
离线与在线的分界线要认清:索引建一次、查询跑万次,所以离线侧的重活(解析、分块、向量化)可以慢慢做精,在线侧只留检索与生成两个快动作。22.1 讲过模型没有跨请求的记忆,RAG 本质就是「每次查询前临时给模型外挂一个知识包」——知识包的质量(离线决定)与取得准不准(在线决定)共同决定回答质量。
分块(Chunking:把长文档切成检索最小单元)是七步里最容易被轻视、却最影响召回的一步。四种策略递进:固定长度(每 512 token 一块)简单通用;按结构切(Markdown 标题、段落边界)保住文档天然语义单元;语义分块(用相邻句 Embedding 相似度的骤变点作为边界)精度最高、成本也高;递归分割(先按大分隔切、切不动再降级到小分隔,LangChain 默认)是工程折中。块大小的两难写实:太小(128)语义残缺,检索到半句话模型无从使用;太大(2048)检索粒度变粗,一块里塞满无关信息稀释命中率——甜点区 256~512 token,块间重叠 50~100。重叠是给边界上保险:关键句恰好骑在切缝上时,两块各有一份完整拷贝,哪块被召回都不丢信息——23.2 说的「防拦腰截断」在这里给出参数依据。
纯向量检索有个天然盲区:语义相似但不字面相等的东西它擅长,字面精确但无语义的东西它瞎——「SKU-2024-A」这种产品编号、异常码、人名缩写,Embedding 算不出语义,向量检索直接 miss。补盲的答案是混合检索(Dense 向量检索加 BM25 关键词检索的并行召回):向量路召回 Top-20 语义匹配,BM25 路召回 Top-20 词面匹配,两路结果用 RRF(Reciprocal Rank Fusion:按「在两路榜单里的名次倒数」融合重排的算法)合成一个榜单取 Top-10。之后再上重排(Rerank:用 Cross-Encoder 对查询与文档逐对深度打分的精排阶段)——bi-encoder 式的向量检索是「查询与文档各自编码再比距离」,快而浅;Cross-Encoder 是「查询与文档拼一起过模型」,慢而准,只对召回的前十名精排完全跑得起,低于阈值 0.7 的直接过滤。这套组合的效果曲线值得背下来:纯向量 72% → 混合检索 83% → 加 Rerank 91%——每一步的提升都有名有姓,这就是面试里「检索质量怎么调优」的完整答案。查询侧还有一件查询改写(用 LLM 把口语问题改写成适合检索的形态,或拆成多个子查询各查一次):用户问「上次说的那个配置」,改写器补全上下文后检索才有的放矢。
还有三件小而美的优化件值得进工具箱。父子文档(检索用小块、返回用大块的策略):小块负责精准命中,命中后取它所属的大块(章节或整节)进上下文——检索粒度与上下文完整性这对矛盾就此解耦,规则手册类文档特别受用。元数据过滤前置:来源、部门、文档类型、时效先过滤再相似——百万级库先筛到万级再算向量,既省算力又守权限(23.2 的 filterExpression)。相似问题缓存:FAQ 密集场景对「问题向量」也建一层 ANN 索引,新问题先找历史高相似问答,命中直接回缓存答案——生成成本归零,10.4 缓存思想在 AI 场景的翻版。
调优不能凭感觉,RAG 的评估三指标先立起来:忠实度(答案是否只基于召回的资料、没夹带私货——反幻觉的量化形态)、答案相关性(答没答到点上)、上下文命中率(召回的片段里真被用上的比例——检索质量的直接体检)。三个指标配一个固定测试集(几十到几百对「问题-标准要点」),每次改分块、换模型、调阈值都跑一遍回归——22.2 的提示词测试纪律平移到检索管道,没有基线的调优是玄学,有基线的调优才是工程。
23.2 的三行版与本章的完整版差异在「管线自己拼」:
List<Document> hits = vectorStore.similaritySearch(
SearchRequest.builder().query(rewrite(question))
.topK(10).similarityThreshold(0.6)
.filterExpression("tenant=='shop-a'") // 权限前置
.build());
String context = rerank(question, hits).stream() // 重排取前5
.map(Document::getContent).collect(joining("\n\n"));
return chatClient.prompt()
.system("仅基于以下资料回答,资料没有就明说不知道\n\n" + context)
.user(question).call().content();
值得停下的三个细节:权限过滤放检索层(23.2 的老规矩,别检索完再筛);系统提示词里那句「资料没有就明说不知道」是 22.2 反幻觉的落地——给了依据就要封死编造出口;相似问题缓存(常见问法命中即返回,不烧一次生成)让高频 FAQ 场景的成本直降——22.5 的成本课在 RAG 上的第一落点。
RAG 管道是「离线建好知识包、在线精准取用」的双阶段工程:分块决定粒度、混合检索补盲、重排提精度、拒答兜幻觉——三步调优把 72% 拉到 91% 的那条曲线,就是这门课最值钱的证据链。