1. Prompt版本怎么管理?怎么证明新Prompt比旧的好?
2. Token成本怎么控制?一天烧多少钱心里有没有数?
3. AI应用的限流/降级/熔断怎么做?
4. 怎么监控AI应用的运行状态?看什么指标?
5. AI应用的评测体系怎么搭?Golden Set怎么做?
问题:
Prompt改了一版,效果好了还是坏了?不知道。
上周还能用的Prompt,这周怎么效果变差了?不知道哪个版本。
解决方案:Prompt版本管理
设计:
┌──────────────────────────────────────────┐
│ Prompt Registry(Prompt注册中心) │
│ │
│ pricing-v1: "根据以下数据调整价格..." │
│ pricing-v2: "你是定价专家,根据以下..." │ ← 当前生产
│ pricing-v3: "作为定价Agent,综合考虑..." │ ← 灰度测试
│ │
│ 每个版本记录: │
│ - 创建时间、修改人、修改原因 │
│ - A/B测试结果(准确率/用户满意度) │
│ - 关联的Tool和参数配置 │
└──────────────────────────────────────────┘
实现方式:
方式1:Nacos配置中心(已有基础设施,推荐)
方式2:数据库表(prompt_template表)
方式3:Git仓库(Prompt即代码,可Code Review)
关键指标:
- 版本A vs 版本B的准确率对比
- 版本A vs 版本B的Token消耗对比
- 版本A vs 版本B的用户反馈对比
成本意识是AI应用工程师的基本功
成本计算公式:
单次调用成本 = (输入Token × 输入单价 + 输出Token × 输出单价) / 1000000
2026年常见模型价格(每百万Token):
| 模型 | 输入价格 | 输出价格 | 适用场景 |
|------|---------|---------|---------|
| GLM-4-Flash | ¥0.1 | ¥0.1 | 大量简单调用 |
| GLM-4 | ¥15 | ¥15 | 复杂推理 |
| DeepSeek-V3 | ¥1 | ¥2 | 代码/通用 |
| GPT-4o-mini | $0.15 | $0.6 | 海外场景 |
例子:定价系统每天自动定价1000次
输入:~2000 Token(历史数据+规则+RAG文档)
输出:~500 Token(定价建议+理由)
用GLM-4-Flash:1000 × (2000×0.1 + 500×0.1) / 1000000 = ¥0.25/天
用GLM-4: 1000 × (2000×15 + 500×15) / 1000000 = ¥37.5/天
差150倍!模型选择直接影响成本。
成本优化策略:
1. 简单任务用小模型,复杂任务用大模型(模型路由)
2. 缓存相似问题的回答(相似度>0.95直接返回缓存)
3. 压缩Prompt(去掉不必要的system prompt、精简Context)
4. 流式输出+提前终止(结果够了就停止生成)
5. 批量调用(多个问题合并成一次API调用)
大模型API的三个风险:
1. 限流:API有QPS限制(如GLM限制60次/分钟)
2. 延迟:模型推理慢(复杂问题可能30秒+)
3. 故障:API偶尔不可用(503/429错误)
限流方案:
// 令牌桶限流
@Component
public class AiRateLimiter {
private final RateLimiter limiter = RateLimiter.create(10); // 10 QPS
public <T> T executeWithLimit(Supplier<T> action) {
if (!limiter.tryAcquire(5, TimeUnit.SECONDS)) {
throw new AiRateLimitException("AI服务繁忙,请稍后重试");
}
return action.get();
}
}
降级方案:
// 模型降级链
GLM-4-Flash(主) → DeepSeek-V3(备) → 本地小模型(兜底)
@Service
public class FallbackModelRouter {
private final List<ChatModel> models; // 按优先级排序
public String callWithFallback(Prompt prompt) {
for (int i = 0; i < models.size(); i++) {
try {
return models.get(i).call(prompt)
.getResult().getOutput().getText();
} catch (Exception e) {
log.warn("模型{}调用失败,尝试下一个", i, e);
}
}
return "AI服务暂时不可用,请稍后重试";
}
}
熔断方案:
// 用Resilience4j
CircuitBreaker breaker = CircuitBreaker.ofDefaults("ai-api");
breaker.getEventPublisher().onError(event -> {
// 熔断打开时走降级
});
AI应用需要监控的核心指标:
1. 调用量指标
- 每分钟/小时/天的API调用次数
- 按模型分组的调用量
- 按场景分组的调用量(自动定价/对话/查询)
2. 延迟指标
- P50/P95/P99响应时间
- 模型推理时间(不含网络)
- Tool调用时间
3. 成本指标
- 每日Token消耗量
- 每日费用(按模型分组)
- 单次调用平均成本
4. 质量指标
- 模型拒绝回答率("我不知道"占比)
- 幻觉率(抽检,模型回答与事实不符的比例)
- 用户反馈(点赞/踩)
5. 错误指标
- 429(限流)错误率
- 503(服务不可用)错误率
- Tool调用失败率
告警规则:
- 5分钟内429错误率 > 20% → 告警(需要增加限流阈值或换模型)
- P95延迟 > 30秒 → 告警(模型可能过载)
- 日费用 > 预算的120% → 告警(成本失控)
- Tool调用失败率 > 10% → 告警(外部依赖可能出问题)
为什么需要评测:
没有评测,你不知道改了Prompt之后效果是变好了还是变差了。
凭感觉不行,必须用数据说话。
Golden Set(标准测试集)构建:
1. 收集50-100个真实用户问题
2. 人工标注标准答案(或标准参考文档)
3. 定义评分标准(完全正确/部分正确/错误/幻觉)
评测方法:
方法1:自动评测(简单)
- 答案中是否包含关键词
- 是否引用了正确的文档
- 回答长度是否在合理范围
方法2:LLM-as-Judge(推荐)
- 用另一个LLM来评判回答质量
- 评分Prompt:"请判断以下回答是否准确回答了问题,
回答是否基于提供的参考资料,是否有编造信息。评分1-5分。"
方法3:人工抽检(最准但最贵)
- 每天随机抽10个回答人工打分
- 建立反馈循环(标注bad case → 优化Prompt → 再评测)
评测流程:
┌─────────────┐ ┌──────────────┐ ┌──────────────┐
│ 新Prompt版本 │ ──→ │ 跑Golden Set │ ──→ │ 对比旧版本 │
│ 上线前 │ │ 50个标准问题 │ │ 准确率提升? │
└─────────────┘ └──────────────┘ │ Token消耗? │
│ 延迟变化? │
└──────────────┘
"我们的定价系统每天大约1000次自动定价调用 + 50次对话调用。
>
成本控制做了三件事:
1. 模型选型:自动定价用GLM-4-Flash(¥0.1/百万Token),
对话式定价用GLM-4(需要更强推理能力)
2. 缓存:相似问题直接返回缓存,大约命中30%,节省了30%的调用量
3. Prompt压缩:把System Prompt从500 Token压缩到200 Token
>
日均成本大约¥5(主要是对话调用),月成本¥150左右。"
"我们有评测体系。50个标准问题的Golden Set + LLM-as-Judge自动打分。
>
每次改Prompt之前,先跑一遍旧版本的评测记录基准分数。
改完之后跑新版本评测,对比三个指标:准确率、幻觉率、Token消耗。
只有准确率提升>5%且幻觉率不增加,才会合入生产。
>
这和AB测试类似,只不过是离线评测而不是线上AB。"
1. 实现一个TokenCountAdvisor
2. 每次调用后记录输入Token、输出Token
3. 计算并累计成本
4. 暴露一个/api/cost接口查看今日消耗
1. 配置两个模型(GLM + DeepSeek)
2. 主模型失败后自动切到备用模型
3. 记录降级发生次数
P3-08是Phase 3的最后一课:AI项目面试话术,教你怎么在面试中讲好AI项目。