Spring AI的ChatMemory接口:
核心作用: 管理多轮对话的上下文,让LLM"记住"之前的对话
内置实现:
1. InMemoryChatMemory(内存)
优点: 最简单,开箱即用
缺点: 重启丢失,不支持分布式
适用: 开发测试、单机应用
2. JDBC ChatMemory(数据库)
优点: 持久化,重启不丢失
缺点: 每次对话都要查数据库
适用: 需要持久化的生产环境
// Spring AI 内置使用方式
// 窗口记忆:保留最近N轮
ChatMemory memory = MessageWindowChatMemory.withMaxMessages(20);
// 集成到AiServices
Assistant assistant = AiServices.builder(Assistant.class)
.chatLanguageModel(model)
.chatMemory(memory)
.build();
为什么不用内置的JDBC实现:
1. 你需要按sessionId隔离对话(不同用户的对话不能混)
2. 你需要支持对话摘要压缩(超出窗口时自动压缩历史)
3. 你需要和现有的MySQL数据源复用(不加新的存储组件)
你的实现:
自定义 ChatMemory 实现
→ MySQL存储对话历史
→ 按sessionId隔离
→ 滑动窗口策略: 保留最近10轮完整对话
→ 摘要压缩: 超出窗口时,对旧对话做LLM摘要
→ 关键信息提取: 订单号/产品名等实体单独存储
数据模型:
chat_session: id, user_id, title, summary, created_at
chat_message: id, session_id, role(user/assistant),
content, tokens, created_at
chat_entity: id, session_id, entity_type, entity_value
(存储提取的关键实体)
面试讲法:
"我自定义了基于MySQL的ChatMemory,支持按session隔离、
滑动窗口+摘要压缩。关键实体(如订单号)单独提取存储,
即使对话被压缩,关键信息也不会丢失。"
问题: 模型有上下文窗口限制(如GLM-4是128K tokens)
对话太长超出限制 → 要么截断要么压缩
三层策略:
1. 滑动窗口(最简单)
保留最近N轮对话,淘汰最早的
优点: 实现简单 缺点: 可能丢失重要信息
2. 摘要压缩(推荐)
对历史对话做LLM摘要,压缩到1/5
保留关键语义,节省token
实现: 每隔5轮对话,对前3轮做一次摘要
3. 长期记忆(最完整)
关键信息存入向量库,需要时检索
实体(人名/订单号) → Embedding → VectorStore
下次对话时检索相关记忆注入Prompt
你的项目组合方案:
滑动窗口(保留最近10轮) + 摘要压缩(旧对话) + 关键实体提取
Token计算示例:
System Prompt: ~500 tokens
RAG检索结果: ~2000 tokens
最近10轮对话: ~3000 tokens
用户当前问题: ~100 tokens
──────────────────────────
总输入: ~5600 tokens
预留生成空间: ~1000 tokens
模型窗口上限: 128K tokens
控制策略: 总输入不超过窗口的70%,预留30%给生成
// Spring AI VectorStore核心接口
public interface VectorStore {
// 添加文档(自动做Embedding)
void add(List<Document> documents);
// 删除文档
void delete(List<String> idList);
// 相似度检索
List<Document> similaritySearch(String query);
// 带参数检索
List<Document> similaritySearch(SearchRequest request);
}
// SearchRequest参数
SearchRequest.builder()
.query("用户问题")
.topK(5) // 返回最相似的5个
.similarityThreshold(0.7) // 相似度阈值
.filterExpression("type=='faq'") // 元数据过滤
.build();
| 实现 | 依赖 | 特点 | 适用 |
|---|---|---|---|
| MilvusVectorStore | Milvus | 分布式、高性能 | 生产环境首选 |
| RedisVectorStore | Redis | 复用现有Redis | 中小项目 |
| PgVectorStore | PostgreSQL | 复用现有PG | 已有PG的项目 |
| ChromaVectorStore | Chroma | Python生态 | 原型开发 |
| SimpleVectorStore | 内存 | 无外部依赖 | 测试 |
为什么自定义:
GLM知识库API提供了完整的向量存储+检索能力
不需要额外部署Milvus/Redis作为向量存储
降低运维成本(少一个中间件)
实现核心:
public class ZhiPuAiVectorStore implements VectorStore {
// add(): 调用GLM知识库API
// 文档 → GLM API → 自动分块+Embedding+存储
@Override
public void add(List<Document> documents) {
// 调用GLM知识库API上传文档
zhiPuClient.uploadDocuments(documents);
}
// similaritySearch(): 调用GLM检索API
@Override
public List<Document> similaritySearch(SearchRequest request) {
// 查询压缩: 用户问题 → LLM压缩 → 关键词
String compressed = compressQuery(request.getQuery());
// 多查询扩展: 一个问题 → 多个检索query
List<String> queries = expandQuery(compressed);
// 并行检索,合并去重
return queries.parallelStream()
.map(q -> zhiPuClient.search(q, request.getTopK()))
.flatMap(List::stream)
.distinct()
.sorted(bySimilarity)
.limit(request.getTopK())
.collect(toList());
}
}
额外能力:
查询压缩: "深圳到北京明天最便宜的机票多少钱"
→ "深圳 北京 机票 最低价"
→ 提高检索召回率
多查询扩展: 原始问题 → 生成3个不同角度的query
→ 并行检索 → 合并去重 → 提高召回率
面试讲法:
"我自定义了VectorStore对接GLM知识库API,省去了独立部署向量库的运维。
同时实现了查询压缩和多查询扩展,提高检索召回率。
如果未来需要切换到Milvus,只需实现新的VectorStore——
Spring AI的抽象层保证了业务代码零改动。"
┌────────────────┬───────────────────┬───────────────────┐
│ 策略 │ 你的实现 │ 适用的场景 │
├────────────────┼───────────────────┼───────────────────┤
│ 对话存储 │ MySQL持久化 │ 需要跨重启保留对话 │
│ 会话隔离 │ sessionId维度 │ 多用户/多会话系统 │
│ 滑动窗口 │ 最近10轮完整保留 │ 保持近期上下文 │
│ 摘要压缩 │ 旧对话LLM摘要 │ 长对话节省token │
│ 实体提取 │ 关键信息单独存储 │ 防止压缩丢失关键数据 │
│ 查询压缩 │ 问题→关键词 │ 提高检索召回率 │
│ 多查询扩展 │ 1个问题→3个query │ 提高检索召回率 │
└────────────────┴───────────────────┴───────────────────┘
1. 对比InMemory和MySQL持久化ChatMemory的优缺点,什么场景选哪个?
2. 上下文窗口超出限制时,你的项目怎么处理?写出三种策略
3. 为什么自定义VectorStore而不是用内置的Milvus实现?列出至少3个理由
4. 查询压缩和多查询扩展分别解决什么问题?画出处理流程
5. 如果未来要从GLM VectorStore切换到Milvus,需要改哪些代码?为什么改动很少?