← 返回首页 📚 实战课程
📑 本篇章节导航 (共5章,点击直达)
本节目标(学完能回答的面试题)核心知识(1小时精讲内容)面试速记卡(考前30秒速看)练习题(自测)学习资料

L30 - AI场景面试题

本节目标(学完能回答的面试题)

核心知识(1小时精讲内容)

1. 语义缓存(你的项目实战)


为什么需要语义缓存:
  - 每次调LLM API都花钱(按Token计费)
  - 相同/相似的问题重复调用是浪费
  - 缓存命中率30-50% → API成本降30-50%

精确缓存 vs 语义缓存:
  精确缓存: 问题完全一样才命中 → 命中率极低
  语义缓存: 问题语义相似就命中 → 命中率高

  用户问: "深圳到北京最便宜的机票"
  语义相似: "北京深圳最低价机票"、"深圳飞北京怎么买最划算"
  → 这些都应该命中同一条缓存

你的项目实现(Redis):
  1. 用户问题 → Embedding向量化
  2. 与Redis中缓存的向量做余弦相似度比较
  3. 相似度 > 0.95 → 命中缓存,直接返回(不调大模型)
  4. 相似度 < 0.95 → 走正常RAG/LLM流程,结果写入缓存

  效果: 缓存命中率35%,API成本降低35%

Java实现思路:
  @Component
  public class SemanticCacheAdvisor implements RequestResponseAdvisor {

      public AdvisedResponse adviseResponse(AdvisedRequest request, ...) {
          float[] queryEmbedding = embeddingModel.embed(request.userText());
          CacheEntry cached = redisVectorSearch(queryEmbedding, threshold=0.95);
          if (cached != null) {
              return cached.getResponse(); // 命中,不调模型
          }
          // 未命中,继续走模型调用
          AdvisedResponse response = chain.next(request);
          // 存入缓存
          saveToCache(queryEmbedding, response);
          return response;
      }
  }

2. NL2SQL(自然语言转SQL)


场景: 业务人员不会写SQL,想用自然语言查数据
  "上个月深圳航线销售额最高的5个航班"
  → AI自动生成SQL → 执行 → 返回结果

实现方案:
  1. 将数据库Schema信息传给LLM(表名/字段/关系)
  2. 用户自然语言问题 → LLM生成SQL
  3. 安全校验(SQL注入检测/只允许SELECT)
  4. 执行SQL → 结果返回给LLM → 生成自然语言回答

Spring AI实现:
  chatClient.prompt()
      .system("""
          你是SQL生成专家。数据库表结构如下:
          flights(id, route, price, date, sales)
          规则: 只生成SELECT语句,不允许DELETE/UPDATE/DROP
          """)
      .user("上个月深圳航线销售额最高的5个航班")
      .call()
      .content();
  // 模型输出: SELECT route, SUM(sales) FROM flights
  //           WHERE date >= '2026-04-01' GROUP BY route
  //           ORDER BY SUM(sales) DESC LIMIT 5

安全措施:
  - 只允许SELECT(拦截INSERT/UPDATE/DELETE/DROP)
  - SQL参数化(防注入)
  - 结果行数限制(LIMIT)
  - 敏感表过滤(不暴露用户表)
  - 执行超时控制(30s)

3. 多模型路由(大模型+小模型分流)


核心思路: 不是所有问题都需要最贵最强的模型

路由策略:
  简单分类/提取  → 小模型(DeepSeek Chat)    → 便宜快
  复杂推理/数学  → 推理模型(DeepSeek R1)     → 贵但准
  代码生成/审查  → 代码模型(Claude/GPT-4)    → 专精
  超长文档处理   → 大窗口模型(GLM-4 128K)    → 容量大

Java实现(Spring AI):
  @Service
  class LlmRouter {
      @Autowired @Qualifier("fastModel") ChatModel fast;
      @Autowired @Qualifier("smartModel") ChatModel smart;

      public String chat(String msg, boolean complex) {
          ChatModel model = complex ? smart : fast;
          return model.call(msg);
      }
  }

效果: API成本降低60%,简单问题响应更快

面试话术:
"我们做了双模型路由:简单问题走小模型(便宜快),
复杂推理走大模型(贵但准)。路由判断基于问题长度+关键词规则,
后续可以升级为LLM自分类。配合语义缓存,API成本降了60%。"

4. Token优化四板斧


问题: LLM按Token计费,Token消耗直接关联成本

四板斧:

1. Prompt精简
   - 去掉System Prompt中的废话
   - 用缩写和符号替代冗长描述
   - 只传必要的上下文
   示例: "你是资深Java架构师" → "Java架构师" (省10+ token)

2. 缓存复用
   - 语义缓存(相似问题直接返回)
   - 前缀缓存(Prompt前缀相同,API层缓存)
   - 效果: 命中率30-50%,成本降30-50%

3. 模型路由
   - 简单问题用小模型(便宜)
   - 复杂问题用大模型(贵但准)
   - 效果: 成本降60%

4. 输出控制
   - max_tokens限制输出长度
   - 结构化输出(JSON)比自然语言省token
   - 分步提取替代一次性大输出

综合效果: 四板斧组合使用,API成本可降低70-80%

5. 幻觉处理(Hallucination)


表现: 模型编造不存在的事实
原因: 模型本质是概率生成,不确定时也会"自信"回答

幻觉治理三板斧:

1. 检索层: 确保数据来源可信
   - RAG检索真实文档作为上下文
   - 向量检索 + BM25混合检索提高召回

2. 生成层: Prompt约束 + 参数调优
   - System Prompt明确"只基于给定上下文回答"
   - temperature调低(0.1~0.3)减少随机性
   - 要求模型标注信息来源

3. 验证层: 输出校验
   - 关键信息(订单号/金额)做格式校验
   - Self-RAG: 让模型自己检查回答是否有检索支撑
   - 引用标注: 回答中标注来源段落,用户可验证

面试话术:
"幻觉治理分三层: 检索层保证数据来源可信,
生成层用Prompt约束+低温减少编造,
验证层做格式校验+来源标注。
线上我们还会收集用户反馈,差评自动转人工复核。"

6. AI异常处理

超时处理:


大模型API可能很慢(10s-60s):

方案:
1. 设置合理超时: 连接超时5s,读取超时30s
2. 流式输出: 首字<1s即可开始返回,不等全部生成
3. 超时降级: 切换到更快的备用模型
4. 异步化: 非实时场景用MQ异步处理

Java实现:
  @Retryable(maxAttempts = 2, backoff = @Backoff(delay = 1000))
  @CircuitBreaker(failureRateThreshold = 50, waitDurationInOpenState = 30s)
  public String chat(String message) {
      return chatClient.prompt().user(message).call().content();
  }

不安全内容处理:


输入安全:
  - 敏感词过滤(SensitiveWordAdvisor)
  - PII脱敏(手机号/身份证先脱敏再传LLM)
  - 话题限制(超出业务范围的问题拒绝)

输出安全:
  - 毒性检测(有害内容过滤)
  - PII泄漏检测(输出中不应包含真实手机号)
  - 格式约束(输出必须符合预期格式)

实现:
  Guardrails三层: 输入防护 + 过程防护(工具调用) + 输出防护

API Key安全:


泄露风险:
  - 代码中硬编码 → GitHub扫描到
  - 日志中打印 → 日志文件泄露
  - 前端暴露 → 浏览器开发者工具看到

防护:
  1. 环境变量: api-key: ${OPENAI_API_KEY}
  2. 配置中心: Nacos/Apollo统一管理
  3. 后端代理: 前端不直接调API,走后端代理
  4. Key轮换: 定期更换API Key
  5. 用量监控: 异常用量告警(可能被盗用)
  6. IP白名单: 限制调用来源

7. Prompt版本管理


问题: Prompt是"隐式代码",改了之后很难回溯

管理方案:
1. 外部文件管理(推荐)
   resources/prompts/qa.st
   resources/prompts/pricing.st
   → Git版本控制,可回溯

2. 数据库管理
   prompt_template表: id, name, version, content, updated_at
   → 支持A/B测试、灰度发布

3. 配置中心管理
   Nacos/Apollo中管理Prompt
   → 动态更新,不用重启

你的项目:
  定价Prompt用外部文件管理(yml/st模板),
  不同场景(实时/批量)用不同版本的Prompt。

面试话术:
"我们把Prompt当代码管理——外部文件+Git版本控制。
每次Prompt变更都有commit记录,可以回溯到任意版本。
配合Golden Dataset评测,变更后自动跑评测集对比效果。"

面试速记卡(考前30秒速看)

练习题(自测)

1. 语义缓存和精确缓存的区别是什么?为什么语义缓存命中率更高?

2. 如果要在你的定价系统中实现NL2SQL,安全措施有哪些?

3. Token优化四板斧分别是什么?各自能节省多少比例的成本?

4. 大模型API超时了怎么办?画出你的容灾降级方案

5. Prompt版本管理有哪些方案?你的项目用的是哪种?为什么?

学习资料