┌─────────────────────────────────────────────────┐
│ 应用层 ChatClient(高级API) / Advisors(拦截器) │
│ ─────────────────────────────────────────────── │
│ 模型层 ChatModel / EmbeddingModel / │
│ ImageModel / AudioModel │
│ ─────────────────────────────────────────────── │
│ 存储层 VectorStore(Milvus/Redis/PG/Pinecone) │
│ ─────────────────────────────────────────────── │
│ 工具层 Function Calling / MCP Client │
└─────────────────────────────────────────────────┘
类比理解:
Spring Data → 统一数据库访问
Spring AI → 统一AI模型访问
核心抽象只有4个: ChatClient、ChatModel、VectorStore、EmbeddingModel
关键设计思想:切换模型只需改配置,业务代码零修改。比如从GLM切到DeepSeek,只改application.yml的base-url和model字段。
// ChatModel —— 底层接口,直接调模型(简单场景)
String answer = chatModel.call("解释HashMap");
// ChatClient —— 高级API,封装了模型调用+Advisor链+工具+流式
String answer = chatClient.prompt()
.system("你是Java技术专家")
.user("解释HashMap的底层原理")
.advisors(new SimpleLoggerAdvisor()) // 日志
.advisors(new QuestionAnswerAdvisor(...)) // RAG自动检索
.functions("getCurrentPrice") // Function Calling
.call()
.content();
选型建议:简单调用用ChatModel,企业级应用用ChatClient(统一管理Advisor、工具、缓存)。
// Builder模式创建(推荐)
ChatClient client = ChatClient.builder(chatModel)
.defaultSystem("你是{role},请用中文回答")
.defaultAdvisors(new SimpleLoggerAdvisor())
.build();
// 使用
String answer = client.prompt()
.user("请分析这段代码的性能问题: {code}")
.call()
.content();
// 结构化输出(JSON)
record PersonInfo(String name, int age, List<String> skills) {}
PersonInfo info = chatClient.prompt()
.user("提取信息: 张三,28岁,精通Java和Python")
.call()
.entity(PersonInfo.class); // 自动按Schema解析
注意:temperature=0时输出也不100%稳定,关键流程必须加校验+重试+兜底。
Advisor = Spring AI的拦截器(类似Servlet Filter)
执行链:
用户请求 → Advisor1.before → Advisor2.before → 模型调用
→ Advisor2.after → Advisor1.after → 返回响应
内置Advisor:
SimpleLoggerAdvisor → 日志记录
QuestionAnswerAdvisor → RAG自动检索(核心!)
SafeGuardAdvisor → 内容安全过滤
ReReadingAdvisor → 查询优化
自定义Advisor:
实现 RequestResponseAdvisor 接口
可做: 敏感词过滤、审计日志、语义缓存、限流
与你项目对照:
你的AI定价系统用了Advisor链模式:
@TdTool注解 + TdToolAspect切面 = 类似Advisor的工具注册机制
8个Tool分AUTO/MANUAL两组 → 对应不同的Advisor策略
面试讲法:
"我们用自定义Advisor实现了工具调用的AOP管理,
@TdTool注解标记的方法自动注册为Function Calling的工具,
切面统一处理参数校验、日志、异常。"
@GetMapping(value = "/chat/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<ServerSentEvent<String>> stream(@RequestParam String message) {
return chatClient.prompt()
.user(message)
.stream() // Spring AI流式调用
.chatResponse()
.map(resp -> ServerSentEvent.<String>builder()
.data(resp.getResult().getOutput().getText())
.build())
.concatWith(Flux.just(
ServerSentEvent.<String>builder().event("[DONE]").build()));
}
为什么用SSE不用WebSocket?
SSE: 单向(服务端→客户端),HTTP协议,自动重连,轻量
WS: 双向,需维护连接状态,适合聊天室/协同编辑
LLM用SSE的原因:
1. LLM输出是单向的(生成→展示),不需要双向
2. SSE基于HTTP,穿透防火墙/代理容易
3. 自动重连机制,网络抖动恢复简单
4. 实现简单,运维成本低
与你项目对照:你的双管道ChatClient中,Boss管道用SSE流式输出给前端,MQ管道用同步调用处理自动定价。
// 窗口记忆(保留最近N轮)
ChatMemory memory = MessageWindowChatMemory.withMaxMessages(20);
// 持久化记忆(你的项目实现)
// 你自定义了MySQL持久化的ChatMemory,
// 将对话历史存入MySQL,按sessionId隔离
上下文窗口控制策略:
1. 滑动窗口: 保留最近N轮对话,淘汰最早的
2. 摘要压缩: 对历史对话做LLM摘要,压缩到1/5
3. 关键信息提取: 实体/意图存入长期记忆(向量库)
你的项目: MySQL存储 + 滑动窗口 + 摘要压缩
# application.yml —— 统一配置,切换模型只改配置
spring:
ai:
openai:
api-key: ${API_KEY}
base-url: https://api.deepseek.com # 可换任何兼容接口
chat:
options:
model: deepseek-chat
temperature: 0.3
zhipu:
api-key: ${ZHIPU_KEY}
chat:
options:
model: glm-4
// 按需选择模型(你的项目就是这样做的)
@Autowired @Qualifier("openAiChatModel")
private ChatModel openAiModel;
@Autowired @Qualifier("zhiPuChatModel")
private ChatModel zhiPuModel;
1. 画出Spring AI的四层架构图,标注每层的核心组件
2. 解释ChatClient和ChatModel的区别,各自的使用场景
3. 如果要在RAG系统中加一层语义缓存,你会在Advisor链的什么位置插入?为什么?
4. 写出SSE流式输出的后端代码(Controller + ChatClient)
5. 对比你项目中的工具注册机制(@TdTool + AOP)和Spring AI的Advisor机制,各自的优缺点