知识库问答只动嘴(检索生成),智能客服要动手——查订单、查物流、建工单、转人工,Function Calling 全部上场。AI 智能客服系统(替代人工处理大部分常规咨询的 Agent 应用)是「Agent 落地」最典型的项目:它把 22.3 的工具调用、23.5 的 Agent 循环、11 章的 MQ 解耦拧成一个真实业务系统,替代了 62% 的人工客服工作量。复盘按模块走。
用户(小程序/Web) → WebSocket/SSE → Spring Boot 网关
Agent引擎:
IntentClassifier 意图识别
ToolRouter 工具路由分发
DialogueManager 多轮对话管理
EmotionDetector 情绪识别
四个出口:RAG检索(Milvus) / Function Calling(内部API)
/ 工单系统(RabbitMQ) / 人工转接(WebSocket)
意图分布先看清再设计:FAQ 问答占四成、订单查询两成半、物流查询一成半、售后工单一成、投诉情绪半成、闲聊半成。分布决定架构——四成的 FAQ 意味着 RAG 链路是主干道,两成半的订单查询意味着工具调用质量决定口碑,情绪识别占比小但一旦漏掉就是投诉升级。
旧方案是决策树:含「订单」调订单 API、含「物流」调物流 API、否则走 FAQ。三个问题:维护成本高、新场景要加规则、用户说法千奇百怪匹配不上。新方案 Agent 加 Function Calling:用户随便说,模型自主判断意图、选择工具、执行、基于真实数据生成回答;新增功能只需注册新工具定义,主流程零改动。Spring AI 侧三个工具各带 @Description(查订单、查物流、建工单),一次 chatClient.prompt().user(msg).functions(...).call() 完成路由——22.3 的铁律在此复验:工具描述写得越清楚,路由越准。上线后意图识别准确率从规则版的 78% 升到 93%。
FAQ 知识库三类内容:产品 FAQ 五百余条、政策文档五十余篇、运营话术两百余条。检索按问题长度分流:短问题(不足十字)精确匹配优先、向量检索兜底;长问题混合检索加重排;多轮对话结合历史意图做查询改写——「那退款呢」要改写成「XX 订单的退款政策」才能检索准。FAQ 准确率 95% 以上。工单是异步世界:Agent 判定需建工单→Function Calling 调 createTicket→RabbitMQ 发消息→客服后台消费通知→状态变更回调用户。MQ 解耦的四件收益全是 11.1 的老账:Agent 不阻塞、后台按情绪等级和金额排序优先级、大促峰值缓冲不丢消息、工单系统故障不影响主对话。工单字段由 LLM 从对话历史自动提取(订单号、问题描述、诉求、情绪等级),客服免手填,提取准确率 98%。
情绪识别三级漏斗:关键词匹配(投诉、退款、垃圾等负面词)快速命中;关键词没中再走 LLM 情绪分析(正面/中性/负面);连续三轮负面自动触发转人工。转人工的体验设计是亮点:WebSocket 建立客服-用户通道前,LLM 先把历史对话压成三句话摘要(用户问题、已尝试方案、当前诉求)推给客服——旧方案客服自己翻记录要半分钟,现在三秒进入状态,人工客服效率提升 40%。人工接管期间 Agent 退出,结束后可重新接管,会话状态机一条线:INIT→CHATTING→TOOL_CALLING→WAITING_CONFIRM→RESOLVED/ESCALATED。
「我的订单到哪了」这种问题,Agent 必须调物流 API 查实时状态再答,不许编——这是 Agent 对话与普通对话的分界。防幻觉三层:System Prompt 写死「只基于检索结果和工具返回数据回答」;关键信息(订单号、金额)输出前做格式校验,与工具返回不匹配就不输出;用户点踩自动转人工复核。工具调用失败同样有兜底:@Retryable 最多重试两次,仍失败则告知用户已建工单并通知人工跟进,工具失败率超 5% 触发告警——Agent 的每一次外部调用都要有失败剧本,否则模型会大方地编一个答案。
多轮对话的上下文管理三件套在此项目里最重:Redis 存会话状态加最近十轮对话;超窗口时摘要压缩,但关键实体不进摘要进结构化字段——订单号、产品名、用户诉求单独存(这些是工具调用的参数源,摘要压缩丢了它们,下一轮查订单就断链);跨渠道(小程序/Web/APP)共用会话 ID,用户换端进来加载历史继续聊。状态机是护栏不是摆设:TOOL_CALLING 状态里用户连发消息要排队或合并,防止两个工具调用并发打架;ESCALATED 状态里 Agent 静默,人工结束才回 CHATTING——每个状态定义了「谁能说话」,这比「记住历史」更接近对话管理的本质。
| 指标 | 数据 |
|---|---|
| 意图识别准确率 | 93%(规则版 78%) |
| 自动解决率 | 62%(无需人工) |
| 首字响应 | 1.5s |
| 工单字段提取准确率 | 98% |
| 人工客服效率 | +40%(摘要+预填) |
| 日均对话量 | 2000+ |
踩坑清单:决策树起家维护到死(Agent 加工具注册替代);工具描述含糊路由乱(描述当接口文档写);转人工不带摘要(客服体验差,三句话摘要立竿见影);工单同步调用(Agent 被拖慢,MQ 解耦);情绪只靠关键词( slang 与反话漏检,LLM 分析兜底);多轮上下文全量塞(关键实体压缩保留:订单号、产品名、诉求)。
智能客服是 Agent 的全科目考试:意图路由考工具描述、工单考 MQ 解耦、转人工考体验设计、幻觉防护考工程兜底——替代六成人工工作量的背后,是把「模型自主」圈进「每一步都有失败剧本」的护栏里。