模型本身没有记性——上一轮说了昵称,这一轮问「我叫什么」它一脸无辜。多轮对话与知识沉淀要工程自己搭:ChatMemory(Spring AI 的对话记忆接口,存取多轮消息)管「这个会话聊过什么」,VectorStore(向量存储接口:写入向量、相似度检索)管「知识库里有什么」。一个是短期记忆,一个是长期知识,配合起来才是一个「有背景的助手」。
记忆的难点不是存,是裁——上下文窗口有限(22.1),历史无限增长必然爆窗。三层策略按复杂度递进。滑动窗口(只保留最近 N 轮):实现一行 MessageWindowChatMemory.withMaxMessages(20),简单但粗暴,第十轮之前的昵称、约束全部遗忘。摘要压缩:老对话用模型压成一段摘要顶在前面,语义保留、token 大减,代价是每次压缩多一次模型调用;压缩的触发时机有讲究——常见做法是「每超过窗口阈值就压缩一次最旧的一半」,异步执行压缩(13.4 的场景)让用户无感。长期记忆:关键事实(姓名、偏好、订单号)抽取存库或向量化,用到时检索注入——最完整也最重。生产组合拳常见「窗口 + 摘要 + 关键实体抽取」三管齐下:近十轮原文、更早的摘要、永不丢失的关键实体——三层的分工本质是按信息价值分级:最新交互要原文、中期脉络要摘要、永久事实要结构化。
预算要算账(22.1 的 token 经济学):系统提示 500 + 检索注入 2000 + 最近十轮 3000 + 当前问题 100,输入约 5600 token——总输入控制在窗口七成以内,留三成给生成,这个七三开是记忆管理的安全线。裁剪动作在 Advisor 链里做(23.1 的 MessageChatMemoryAdvisor),按会话 ID(conversationId)隔离每个用户的记忆——多租户混记忆是事故级 bug;conversationId 的生成策略要设计好:同一用户多标签页开会话,是共享一份记忆还是各开各的?产品语义不同实现不同,共享记忆还要考虑并发写覆盖——「记忆的隔离粒度」是产品决策,不是随手一个 UUID。记忆的载体同样要选型:内存 Map 只适合单实例演示,多实例部署下会话漂到第二台机器记忆就丢——生产用 Redis(按 conversationId 存、带 TTL)或数据库持久化,集群里任何实例都取到同一份记忆,这也是 16 章无状态服务横向扩容的前置条件:实例无状态、记忆在外部存储,两者合起来才敢随便加减节点。
接口极简,四招打天下:
vectorStore.add(List.of(new Document("退货需在7天内发起"))); // 写入(自动向量化)
vectorStore.delete(List.of("doc-id-1")); // 按id删除
List<Document> hits = vectorStore.similaritySearch(
SearchRequest.builder()
.query("怎么退货") // 查询语句自动转向量
.topK(5) // 最相似的5条
.similarityThreshold(0.7) // 相似度下限
.filterExpression("type=='faq'") // 元数据过滤
.build());
内置实现一张菜单任选:Milvus(分布式、生产首选)、Redis(复用现有 10 章的 Redis,中小项目省一个组件)、PgVector(已有 Postgres 就别引新中间件)、SimpleVectorStore(内存、测试用)。选型口径与 9 章选数据库同构:先看已有设施,再按量级升级——百万级以下向量 Redis/PgVector 完全够,别为了「分布式」三个字白养一套 Milvus。一条容易踩的隐形红线:写入与查询必须用同一个 Embedding 模型——不同模型的向量空间互不兼容,换 Embedding 模型等于换语言,全量数据要重新向量化入库,迁移前先想清这一步的成本。写入端记得分块(chunking):长文档按 300-500 字切片再入库,切片间保留一定重叠(overlap)防句子被拦腰截断,检索命中粒度才够细。检索质量三旋钮:topK 太小漏答案、太大噪声贵;阈值卡掉不相关;filterExpression 按 metadata(来源、类型、权限)先过滤再相似——权限过滤放检索层还能顺手解决「越权查到别人文档」的安全题。
Spring AI 的接口都能自定义。什么时候值得写?三种场景:一,复用现有设施——公司已有 GLM 的知识库 API,实现一个 VectorStore 适配器直接消费,省掉一套向量库运维;二,裁剪策略要定制——内置 ChatMemory 不含「摘要压缩+实体抽取」,自己实现接口按会话读写 MySQL,策略自己定;三,多级缓存——热会话走内存、冷会话落库,性能敏感场景的标配优化。自定义的成本也要掂量:接口实现只是开始,分块、检索调优、数据更新管道才是 RAG 的大头——框架给了积木,房子还是要自己盖。检索质量上不去时,先查三处:分块粒度是否合理、Embedding 模型与业务语言是否匹配、是否该上「查询改写 + 重排(rerank)」的进阶管线。
ChatMemory 管「聊过什么」用三层裁法守住 token 预算,VectorStore 管「知道什么」用统一接口吃下各家向量库——记忆与知识库是 AI 应用的两只手,一只握住上下文,一只伸向知识海洋,砍掉哪只助手都会变回失忆的陌生人。