← 返回首页 📚 实战课程
📑 本篇章节导航 (共5章,点击直达)
本节目标(学完能回答的面试题)核心知识(1小时精讲内容)面试速记卡(考前30秒速看)练习题(自测)学习资料

L26 - Spring AI ChatMemory与VectorStore自定义

本节目标(学完能回答的面试题)

核心知识(1小时精讲内容)

1. ChatMemory接口(对话记忆)


Spring AI的ChatMemory接口:
  核心作用: 管理多轮对话的上下文,让LLM"记住"之前的对话

内置实现:

1. InMemoryChatMemory(内存)
   优点: 最简单,开箱即用
   缺点: 重启丢失,不支持分布式
   适用: 开发测试、单机应用

2. JDBC ChatMemory(数据库)
   优点: 持久化,重启不丢失
   缺点: 每次对话都要查数据库
   适用: 需要持久化的生产环境

// Spring AI 内置使用方式
// 窗口记忆:保留最近N轮
ChatMemory memory = MessageWindowChatMemory.withMaxMessages(20);

// 集成到AiServices
Assistant assistant = AiServices.builder(Assistant.class)
    .chatLanguageModel(model)
    .chatMemory(memory)
    .build();

2. 你的MySQL持久化ChatMemory实现


为什么不用内置的JDBC实现:
  1. 你需要按sessionId隔离对话(不同用户的对话不能混)
  2. 你需要支持对话摘要压缩(超出窗口时自动压缩历史)
  3. 你需要和现有的MySQL数据源复用(不加新的存储组件)

你的实现:
  自定义 ChatMemory 实现
  → MySQL存储对话历史
  → 按sessionId隔离
  → 滑动窗口策略: 保留最近10轮完整对话
  → 摘要压缩: 超出窗口时,对旧对话做LLM摘要
  → 关键信息提取: 订单号/产品名等实体单独存储

数据模型:
  chat_session: id, user_id, title, summary, created_at
  chat_message: id, session_id, role(user/assistant),
                content, tokens, created_at
  chat_entity:  id, session_id, entity_type, entity_value
                (存储提取的关键实体)

面试讲法:
"我自定义了基于MySQL的ChatMemory,支持按session隔离、
滑动窗口+摘要压缩。关键实体(如订单号)单独提取存储,
即使对话被压缩,关键信息也不会丢失。"

3. 上下文窗口控制策略


问题: 模型有上下文窗口限制(如GLM-4是128K tokens)
      对话太长超出限制 → 要么截断要么压缩

三层策略:

1. 滑动窗口(最简单)
   保留最近N轮对话,淘汰最早的
   优点: 实现简单  缺点: 可能丢失重要信息

2. 摘要压缩(推荐)
   对历史对话做LLM摘要,压缩到1/5
   保留关键语义,节省token
   实现: 每隔5轮对话,对前3轮做一次摘要

3. 长期记忆(最完整)
   关键信息存入向量库,需要时检索
   实体(人名/订单号) → Embedding → VectorStore
   下次对话时检索相关记忆注入Prompt

你的项目组合方案:
  滑动窗口(保留最近10轮) + 摘要压缩(旧对话) + 关键实体提取

Token计算示例:
  System Prompt:    ~500 tokens
  RAG检索结果:      ~2000 tokens
  最近10轮对话:     ~3000 tokens
  用户当前问题:     ~100 tokens
  ──────────────────────────
  总输入:           ~5600 tokens
  预留生成空间:     ~1000 tokens
  模型窗口上限:     128K tokens

  控制策略: 总输入不超过窗口的70%,预留30%给生成

4. VectorStore接口


// Spring AI VectorStore核心接口
public interface VectorStore {

    // 添加文档(自动做Embedding)
    void add(List<Document> documents);

    // 删除文档
    void delete(List<String> idList);

    // 相似度检索
    List<Document> similaritySearch(String query);

    // 带参数检索
    List<Document> similaritySearch(SearchRequest request);
}

// SearchRequest参数
SearchRequest.builder()
    .query("用户问题")
    .topK(5)                      // 返回最相似的5个
    .similarityThreshold(0.7)     // 相似度阈值
    .filterExpression("type=='faq'") // 元数据过滤
    .build();

5. 内置VectorStore实现对比

实现依赖特点适用
MilvusVectorStoreMilvus分布式、高性能生产环境首选
RedisVectorStoreRedis复用现有Redis中小项目
PgVectorStorePostgreSQL复用现有PG已有PG的项目
ChromaVectorStoreChromaPython生态原型开发
SimpleVectorStore内存无外部依赖测试

6. 你的自定义ZhiPuAiVectorStore实现


为什么自定义:
  GLM知识库API提供了完整的向量存储+检索能力
  不需要额外部署Milvus/Redis作为向量存储
  降低运维成本(少一个中间件)

实现核心:
  public class ZhiPuAiVectorStore implements VectorStore {

      // add(): 调用GLM知识库API
      //   文档 → GLM API → 自动分块+Embedding+存储
      @Override
      public void add(List<Document> documents) {
          // 调用GLM知识库API上传文档
          zhiPuClient.uploadDocuments(documents);
      }

      // similaritySearch(): 调用GLM检索API
      @Override
      public List<Document> similaritySearch(SearchRequest request) {
          // 查询压缩: 用户问题 → LLM压缩 → 关键词
          String compressed = compressQuery(request.getQuery());

          // 多查询扩展: 一个问题 → 多个检索query
          List<String> queries = expandQuery(compressed);

          // 并行检索,合并去重
          return queries.parallelStream()
              .map(q -> zhiPuClient.search(q, request.getTopK()))
              .flatMap(List::stream)
              .distinct()
              .sorted(bySimilarity)
              .limit(request.getTopK())
              .collect(toList());
      }
  }

额外能力:
  查询压缩: "深圳到北京明天最便宜的机票多少钱"
           → "深圳 北京 机票 最低价"
           → 提高检索召回率

  多查询扩展: 原始问题 → 生成3个不同角度的query
           → 并行检索 → 合并去重 → 提高召回率

面试讲法:
"我自定义了VectorStore对接GLM知识库API,省去了独立部署向量库的运维。
同时实现了查询压缩和多查询扩展,提高检索召回率。
如果未来需要切换到Milvus,只需实现新的VectorStore——
Spring AI的抽象层保证了业务代码零改动。"

7. 会话管理策略总结


┌────────────────┬───────────────────┬───────────────────┐
│     策略        │     你的实现       │     适用的场景      │
├────────────────┼───────────────────┼───────────────────┤
│ 对话存储        │ MySQL持久化       │ 需要跨重启保留对话   │
│ 会话隔离        │ sessionId维度     │ 多用户/多会话系统   │
│ 滑动窗口        │ 最近10轮完整保留  │ 保持近期上下文      │
│ 摘要压缩        │ 旧对话LLM摘要    │ 长对话节省token     │
│ 实体提取        │ 关键信息单独存储  │ 防止压缩丢失关键数据 │
│ 查询压缩        │ 问题→关键词      │ 提高检索召回率      │
│ 多查询扩展      │ 1个问题→3个query │ 提高检索召回率      │
└────────────────┴───────────────────┴───────────────────┘

面试速记卡(考前30秒速看)

练习题(自测)

1. 对比InMemory和MySQL持久化ChatMemory的优缺点,什么场景选哪个?

2. 上下文窗口超出限制时,你的项目怎么处理?写出三种策略

3. 为什么自定义VectorStore而不是用内置的Milvus实现?列出至少3个理由

4. 查询压缩和多查询扩展分别解决什么问题?画出处理流程

5. 如果未来要从GLM VectorStore切换到Milvus,需要改哪些代码?为什么改动很少?

学习资料