为什么需要语义缓存:
- 每次调LLM API都花钱(按Token计费)
- 相同/相似的问题重复调用是浪费
- 缓存命中率30-50% → API成本降30-50%
精确缓存 vs 语义缓存:
精确缓存: 问题完全一样才命中 → 命中率极低
语义缓存: 问题语义相似就命中 → 命中率高
用户问: "深圳到北京最便宜的机票"
语义相似: "北京深圳最低价机票"、"深圳飞北京怎么买最划算"
→ 这些都应该命中同一条缓存
你的项目实现(Redis):
1. 用户问题 → Embedding向量化
2. 与Redis中缓存的向量做余弦相似度比较
3. 相似度 > 0.95 → 命中缓存,直接返回(不调大模型)
4. 相似度 < 0.95 → 走正常RAG/LLM流程,结果写入缓存
效果: 缓存命中率35%,API成本降低35%
Java实现思路:
@Component
public class SemanticCacheAdvisor implements RequestResponseAdvisor {
public AdvisedResponse adviseResponse(AdvisedRequest request, ...) {
float[] queryEmbedding = embeddingModel.embed(request.userText());
CacheEntry cached = redisVectorSearch(queryEmbedding, threshold=0.95);
if (cached != null) {
return cached.getResponse(); // 命中,不调模型
}
// 未命中,继续走模型调用
AdvisedResponse response = chain.next(request);
// 存入缓存
saveToCache(queryEmbedding, response);
return response;
}
}
场景: 业务人员不会写SQL,想用自然语言查数据
"上个月深圳航线销售额最高的5个航班"
→ AI自动生成SQL → 执行 → 返回结果
实现方案:
1. 将数据库Schema信息传给LLM(表名/字段/关系)
2. 用户自然语言问题 → LLM生成SQL
3. 安全校验(SQL注入检测/只允许SELECT)
4. 执行SQL → 结果返回给LLM → 生成自然语言回答
Spring AI实现:
chatClient.prompt()
.system("""
你是SQL生成专家。数据库表结构如下:
flights(id, route, price, date, sales)
规则: 只生成SELECT语句,不允许DELETE/UPDATE/DROP
""")
.user("上个月深圳航线销售额最高的5个航班")
.call()
.content();
// 模型输出: SELECT route, SUM(sales) FROM flights
// WHERE date >= '2026-04-01' GROUP BY route
// ORDER BY SUM(sales) DESC LIMIT 5
安全措施:
- 只允许SELECT(拦截INSERT/UPDATE/DELETE/DROP)
- SQL参数化(防注入)
- 结果行数限制(LIMIT)
- 敏感表过滤(不暴露用户表)
- 执行超时控制(30s)
核心思路: 不是所有问题都需要最贵最强的模型
路由策略:
简单分类/提取 → 小模型(DeepSeek Chat) → 便宜快
复杂推理/数学 → 推理模型(DeepSeek R1) → 贵但准
代码生成/审查 → 代码模型(Claude/GPT-4) → 专精
超长文档处理 → 大窗口模型(GLM-4 128K) → 容量大
Java实现(Spring AI):
@Service
class LlmRouter {
@Autowired @Qualifier("fastModel") ChatModel fast;
@Autowired @Qualifier("smartModel") ChatModel smart;
public String chat(String msg, boolean complex) {
ChatModel model = complex ? smart : fast;
return model.call(msg);
}
}
效果: API成本降低60%,简单问题响应更快
面试话术:
"我们做了双模型路由:简单问题走小模型(便宜快),
复杂推理走大模型(贵但准)。路由判断基于问题长度+关键词规则,
后续可以升级为LLM自分类。配合语义缓存,API成本降了60%。"
问题: LLM按Token计费,Token消耗直接关联成本
四板斧:
1. Prompt精简
- 去掉System Prompt中的废话
- 用缩写和符号替代冗长描述
- 只传必要的上下文
示例: "你是资深Java架构师" → "Java架构师" (省10+ token)
2. 缓存复用
- 语义缓存(相似问题直接返回)
- 前缀缓存(Prompt前缀相同,API层缓存)
- 效果: 命中率30-50%,成本降30-50%
3. 模型路由
- 简单问题用小模型(便宜)
- 复杂问题用大模型(贵但准)
- 效果: 成本降60%
4. 输出控制
- max_tokens限制输出长度
- 结构化输出(JSON)比自然语言省token
- 分步提取替代一次性大输出
综合效果: 四板斧组合使用,API成本可降低70-80%
表现: 模型编造不存在的事实
原因: 模型本质是概率生成,不确定时也会"自信"回答
幻觉治理三板斧:
1. 检索层: 确保数据来源可信
- RAG检索真实文档作为上下文
- 向量检索 + BM25混合检索提高召回
2. 生成层: Prompt约束 + 参数调优
- System Prompt明确"只基于给定上下文回答"
- temperature调低(0.1~0.3)减少随机性
- 要求模型标注信息来源
3. 验证层: 输出校验
- 关键信息(订单号/金额)做格式校验
- Self-RAG: 让模型自己检查回答是否有检索支撑
- 引用标注: 回答中标注来源段落,用户可验证
面试话术:
"幻觉治理分三层: 检索层保证数据来源可信,
生成层用Prompt约束+低温减少编造,
验证层做格式校验+来源标注。
线上我们还会收集用户反馈,差评自动转人工复核。"
超时处理:
大模型API可能很慢(10s-60s):
方案:
1. 设置合理超时: 连接超时5s,读取超时30s
2. 流式输出: 首字<1s即可开始返回,不等全部生成
3. 超时降级: 切换到更快的备用模型
4. 异步化: 非实时场景用MQ异步处理
Java实现:
@Retryable(maxAttempts = 2, backoff = @Backoff(delay = 1000))
@CircuitBreaker(failureRateThreshold = 50, waitDurationInOpenState = 30s)
public String chat(String message) {
return chatClient.prompt().user(message).call().content();
}
不安全内容处理:
输入安全:
- 敏感词过滤(SensitiveWordAdvisor)
- PII脱敏(手机号/身份证先脱敏再传LLM)
- 话题限制(超出业务范围的问题拒绝)
输出安全:
- 毒性检测(有害内容过滤)
- PII泄漏检测(输出中不应包含真实手机号)
- 格式约束(输出必须符合预期格式)
实现:
Guardrails三层: 输入防护 + 过程防护(工具调用) + 输出防护
API Key安全:
泄露风险:
- 代码中硬编码 → GitHub扫描到
- 日志中打印 → 日志文件泄露
- 前端暴露 → 浏览器开发者工具看到
防护:
1. 环境变量: api-key: ${OPENAI_API_KEY}
2. 配置中心: Nacos/Apollo统一管理
3. 后端代理: 前端不直接调API,走后端代理
4. Key轮换: 定期更换API Key
5. 用量监控: 异常用量告警(可能被盗用)
6. IP白名单: 限制调用来源
问题: Prompt是"隐式代码",改了之后很难回溯
管理方案:
1. 外部文件管理(推荐)
resources/prompts/qa.st
resources/prompts/pricing.st
→ Git版本控制,可回溯
2. 数据库管理
prompt_template表: id, name, version, content, updated_at
→ 支持A/B测试、灰度发布
3. 配置中心管理
Nacos/Apollo中管理Prompt
→ 动态更新,不用重启
你的项目:
定价Prompt用外部文件管理(yml/st模板),
不同场景(实时/批量)用不同版本的Prompt。
面试话术:
"我们把Prompt当代码管理——外部文件+Git版本控制。
每次Prompt变更都有commit记录,可以回溯到任意版本。
配合Golden Dataset评测,变更后自动跑评测集对比效果。"
1. 语义缓存和精确缓存的区别是什么?为什么语义缓存命中率更高?
2. 如果要在你的定价系统中实现NL2SQL,安全措施有哪些?
3. Token优化四板斧分别是什么?各自能节省多少比例的成本?
4. 大模型API超时了怎么办?画出你的容灾降级方案
5. Prompt版本管理有哪些方案?你的项目用的是哪种?为什么?