← 返回首页 📚 实战课程
📑 本篇章节导航 (共5章,点击直达)
本节目标核心知识面试模拟动手练习下一课预告

P3-07 - AI生产化

本节目标

1. Prompt版本怎么管理?怎么证明新Prompt比旧的好?

2. Token成本怎么控制?一天烧多少钱心里有没有数?

3. AI应用的限流/降级/熔断怎么做?

4. 怎么监控AI应用的运行状态?看什么指标?

5. AI应用的评测体系怎么搭?Golden Set怎么做?

核心知识

一、Prompt版本管理


问题:
  Prompt改了一版,效果好了还是坏了?不知道。
  上周还能用的Prompt,这周怎么效果变差了?不知道哪个版本。

解决方案:Prompt版本管理

设计:
  ┌──────────────────────────────────────────┐
  │  Prompt Registry(Prompt注册中心)         │
  │                                            │
  │  pricing-v1: "根据以下数据调整价格..."       │
  │  pricing-v2: "你是定价专家,根据以下..."     │ ← 当前生产
  │  pricing-v3: "作为定价Agent,综合考虑..."   │ ← 灰度测试
  │                                            │
  │  每个版本记录:                             │
  │  - 创建时间、修改人、修改原因               │
  │  - A/B测试结果(准确率/用户满意度)         │
  │  - 关联的Tool和参数配置                     │
  └──────────────────────────────────────────┘

实现方式:
  方式1:Nacos配置中心(已有基础设施,推荐)
  方式2:数据库表(prompt_template表)
  方式3:Git仓库(Prompt即代码,可Code Review)

关键指标:
  - 版本A vs 版本B的准确率对比
  - 版本A vs 版本B的Token消耗对比
  - 版本A vs 版本B的用户反馈对比

二、Token成本控制


成本意识是AI应用工程师的基本功

成本计算公式:
  单次调用成本 = (输入Token × 输入单价 + 输出Token × 输出单价) / 1000000

2026年常见模型价格(每百万Token):
| 模型 | 输入价格 | 输出价格 | 适用场景 |
|------|---------|---------|---------|
| GLM-4-Flash | ¥0.1 | ¥0.1 | 大量简单调用 |
| GLM-4 | ¥15 | ¥15 | 复杂推理 |
| DeepSeek-V3 | ¥1 | ¥2 | 代码/通用 |
| GPT-4o-mini | $0.15 | $0.6 | 海外场景 |

例子:定价系统每天自动定价1000次
  输入:~2000 Token(历史数据+规则+RAG文档)
  输出:~500 Token(定价建议+理由)
  用GLM-4-Flash:1000 × (2000×0.1 + 500×0.1) / 1000000 = ¥0.25/天
  用GLM-4:     1000 × (2000×15 + 500×15) / 1000000 = ¥37.5/天

  差150倍!模型选择直接影响成本。

成本优化策略:
1. 简单任务用小模型,复杂任务用大模型(模型路由)
2. 缓存相似问题的回答(相似度>0.95直接返回缓存)
3. 压缩Prompt(去掉不必要的system prompt、精简Context)
4. 流式输出+提前终止(结果够了就停止生成)
5. 批量调用(多个问题合并成一次API调用)

三、限流/降级/熔断


大模型API的三个风险:
1. 限流:API有QPS限制(如GLM限制60次/分钟)
2. 延迟:模型推理慢(复杂问题可能30秒+)
3. 故障:API偶尔不可用(503/429错误)

限流方案:
  // 令牌桶限流
  @Component
  public class AiRateLimiter {
      private final RateLimiter limiter = RateLimiter.create(10); // 10 QPS

      public <T> T executeWithLimit(Supplier<T> action) {
          if (!limiter.tryAcquire(5, TimeUnit.SECONDS)) {
              throw new AiRateLimitException("AI服务繁忙,请稍后重试");
          }
          return action.get();
      }
  }

降级方案:
  // 模型降级链
  GLM-4-Flash(主) → DeepSeek-V3(备) → 本地小模型(兜底)

  @Service
  public class FallbackModelRouter {
      private final List<ChatModel> models; // 按优先级排序

      public String callWithFallback(Prompt prompt) {
          for (int i = 0; i < models.size(); i++) {
              try {
                  return models.get(i).call(prompt)
                      .getResult().getOutput().getText();
              } catch (Exception e) {
                  log.warn("模型{}调用失败,尝试下一个", i, e);
              }
          }
          return "AI服务暂时不可用,请稍后重试";
      }
  }

熔断方案:
  // 用Resilience4j
  CircuitBreaker breaker = CircuitBreaker.ofDefaults("ai-api");
  breaker.getEventPublisher().onError(event -> {
      // 熔断打开时走降级
  });

四、监控和告警


AI应用需要监控的核心指标:

1. 调用量指标
   - 每分钟/小时/天的API调用次数
   - 按模型分组的调用量
   - 按场景分组的调用量(自动定价/对话/查询)

2. 延迟指标
   - P50/P95/P99响应时间
   - 模型推理时间(不含网络)
   - Tool调用时间

3. 成本指标
   - 每日Token消耗量
   - 每日费用(按模型分组)
   - 单次调用平均成本

4. 质量指标
   - 模型拒绝回答率("我不知道"占比)
   - 幻觉率(抽检,模型回答与事实不符的比例)
   - 用户反馈(点赞/踩)

5. 错误指标
   - 429(限流)错误率
   - 503(服务不可用)错误率
   - Tool调用失败率

告警规则:
  - 5分钟内429错误率 > 20% → 告警(需要增加限流阈值或换模型)
  - P95延迟 > 30秒 → 告警(模型可能过载)
  - 日费用 > 预算的120% → 告警(成本失控)
  - Tool调用失败率 > 10% → 告警(外部依赖可能出问题)

五、评测体系


为什么需要评测:
  没有评测,你不知道改了Prompt之后效果是变好了还是变差了。
  凭感觉不行,必须用数据说话。

Golden Set(标准测试集)构建:
  1. 收集50-100个真实用户问题
  2. 人工标注标准答案(或标准参考文档)
  3. 定义评分标准(完全正确/部分正确/错误/幻觉)

评测方法:
  方法1:自动评测(简单)
    - 答案中是否包含关键词
    - 是否引用了正确的文档
    - 回答长度是否在合理范围

  方法2:LLM-as-Judge(推荐)
    - 用另一个LLM来评判回答质量
    - 评分Prompt:"请判断以下回答是否准确回答了问题,
      回答是否基于提供的参考资料,是否有编造信息。评分1-5分。"

  方法3:人工抽检(最准但最贵)
    - 每天随机抽10个回答人工打分
    - 建立反馈循环(标注bad case → 优化Prompt → 再评测)

评测流程:
  ┌─────────────┐     ┌──────────────┐     ┌──────────────┐
  │ 新Prompt版本 │ ──→ │ 跑Golden Set │ ──→ │ 对比旧版本    │
  │ 上线前       │     │ 50个标准问题  │     │ 准确率提升?  │
  └─────────────┘     └──────────────┘     │ Token消耗?   │
                                           │ 延迟变化?    │
                                           └──────────────┘

面试模拟

Q1: "你们的AI应用一天花多少钱在API调用上?怎么控制成本的?"

"我们的定价系统每天大约1000次自动定价调用 + 50次对话调用。

>

成本控制做了三件事:
1. 模型选型:自动定价用GLM-4-Flash(¥0.1/百万Token),
对话式定价用GLM-4(需要更强推理能力)
2. 缓存:相似问题直接返回缓存,大约命中30%,节省了30%的调用量
3. Prompt压缩:把System Prompt从500 Token压缩到200 Token

>

日均成本大约¥5(主要是对话调用),月成本¥150左右。"

Q2: "怎么证明你改的Prompt比之前的好?"

"我们有评测体系。50个标准问题的Golden Set + LLM-as-Judge自动打分。

>

每次改Prompt之前,先跑一遍旧版本的评测记录基准分数。
改完之后跑新版本评测,对比三个指标:准确率、幻觉率、Token消耗。
只有准确率提升>5%且幻觉率不增加,才会合入生产。

>

这和AB测试类似,只不过是离线评测而不是线上AB。"

动手练习

练习1:给ChatClient加Token计数和成本统计

1. 实现一个TokenCountAdvisor

2. 每次调用后记录输入Token、输出Token

3. 计算并累计成本

4. 暴露一个/api/cost接口查看今日消耗

练习2:实现模型降级

1. 配置两个模型(GLM + DeepSeek)

2. 主模型失败后自动切到备用模型

3. 记录降级发生次数

下一课预告

P3-08是Phase 3的最后一课:AI项目面试话术,教你怎么在面试中讲好AI项目。