← 课程目录 🚀 从零到一
📐 学习维度 阶段6 · 第24章 RAG 与向量检索 🚀 从零到一 📚 课程目录 🏠 首页 🛤️ 学习路径

24.4 进阶RAG:GraphRAG、Agentic RAG与多模态

审校 2026-09-25 · 素材来源:深度文09(GraphRAG/AgenticRAG章节改写)、多模态RAG实践笔记
📑 本篇章节导航 (共8节,点击直达)
传统 RAG 的三个天花板GraphRAG:给检索一张关系网Agentic RAG:让检索有主见多模态 RAG:图文一起检索选型:一张路线图收束踩坑清单面试怎么问一句话总结

24.1 的管道能答「这仨文档里写了什么」,但换个问法就露馅:「这批文档反映的整体趋势是什么」「A 和 C 通过什么关系联系起来」——单点检索的天花板到了。这一节讲三代进阶:GraphRAG(知识图谱加 RAG:用图结构补全全局视角的检索范式)、Agentic RAG(Agent 化的 RAG:由智能体动态决策检索策略的范式)与多模态 RAG(图文音混合内容的检索生成)——它们是 25 章智能体主线的序章。

传统 RAG 的三个天花板

先诊断清楚再开药。第一,缺全局理解:RAG 检索的是局部片段,问「总结一下整个项目的架构风格」,召回的五个片段谁也代表不了全局;第二,跨文档推理弱:结论 A 在文档一、论据 C 在文档三,它们的关联藏在文字之外,向量相似度看不见;第三,多跳查询难:答案需要「先查 X、由 X 得 Y、再由 Y 定位 Z」的链式检索,固定管道只跳一步。三个天花板的共同根源:RAG 是流水线,没有「思考」这个环节——这正是后两代方案分别从结构与决策两个方向补的课。

GraphRAG:给检索一张关系网

GraphRAG 的思路是把散落文档里的实体与关系挖出来建成知识图谱(节点是实体、边是关系的网状结构):离线阶段用 LLM 从每篇文档抽取「公司-投资-公司」「人物-任职-组织」这样的三元组,聚成图谱后按社区检测算法分组、再为每个社区生成层次化摘要。查询时的两种姿势:局部查询走图遍历——从问题实体出发沿边扩展,把邻域子图喂给模型;全局查询走社区摘要——问「整体趋势」时读的是各社区的摘要层,天然带全局视角。代价直说:图谱构建要大量 LLM 调用(抽取加摘要,成本是朴素 RAG 索引的数倍),且更新要做增量抽取否则全图重建。工程折中是 LightRAG(双层检索的轻量 GraphRAG:低层查具体实体、高层查抽象主题,支持增量更新不全量重建)——生产落地的现实起点。判断口径:实体关系密集的领域(风控关联、企业知识库、法规引用链)收益最大,纯 FAQ 场景上 GraphRAG 是杀鸡用牛刀。

Agentic RAG:让检索有主见

Agentic RAG 把 22 章的工具调用与 24.1 的检索管道焊接起来:检索不再是固定流程,而是 Agent 的一个工具——是否检索、检索几次、用哪种检索、结果够不够好,都由 Agent 现场决策。四类典型动作:查询路由(按问题类型分流:简单事实走向量、要计算调工具、多源需求并行查多个知识库——Supervisor 编排的雏形,25.2 展开);自适应检索(首轮结果质量不足,自动改写查询再检索一轮,检索器自己会「再想想」);答案自校验(生成后自查引用是否真在召回片段里,不满足则重来——22.2 反幻觉与 23.5 反思机制的合体);工具编排(检索、查库、调 API 组合出战术:先检索定位订单规则、再查库取真实数据、最后综合作答)。它与 23.5 的 ReAct 循环是同一件事:Thought 判断信息缺口、Action 发起检索、Observation 评估质量、不够再来一轮——RAG 从被动流水线升级为主动决策系统,代价是每次任务的调用次数与延迟都翻倍,简单问题上开 Agentic 是烧钱买罪受(23.5 的「能简单就简单」判据在这里原样适用)。

多模态 RAG:图文一起检索

文档不只有字:PDF 里的图表、产品图、扫描件都是知识的一部分。多模态 RAG(跨文本与图像等模态的检索增强)的主流路径是统一向量空间:用多模态 Embedding 模型把图片与文本映射进同一个语义空间,「红色跑鞋」的文字查询与跑鞋图片的向量天然接近,检索层一个引擎通吃。工程链路比纯文本多两件:图片要过 OCR 与图表理解(版面分析把图中的文字与坐标抠出来,与图像向量并存);命中后的生成用多模态大模型(图与文一起读)。场景判断先看数据形态:商品搜图、工单带截图、扫描合同问答是真需求,纯文本库硬上多模态是架构虚荣。落地的现实坑:多模态 Embedding 的语义对齐质量低于纯文本(跨模态召回噪声大,Rerank 更不可省)、图片分块策略不成熟(整图 vs 网格切,按业务试)、存储成本数倍于文本——按需引入,别为「多模态」三个字上全套。

选型:一张路线图收束

四代 RAG 的选型不是越新越好,是按问题复杂度分层:事实问答用朴素 RAG 加混合检索(24.1)覆盖八成需求;关系推理与全局总结补 GraphRAG,且从 LightRAG 起步;问题形态多变、要多源组合上 Agentic RAG,但严格套 23.5 的熔断与成本闸;数据天然多模态再引多模态管线。共同的地基永远是那几件:分块、混合检索、重排、评估基线——地基不牢,进阶范式只是把问题放大得更贵。

踩坑清单

面试怎么问

一句话总结

进阶 RAG 的三代演进各自补一块短板:GraphRAG 补关系与全局、Agentic RAG 补决策与迭代、多模态补感知边界——但地基永远是分块、混检、重排与评估,范式选得再新,也救不了没调好的管道。