本文是 AIGateway与大模型网关工程化深度实战 的分章阅读版。
某电商团队接入 LLM 三个月,业务方分散调用通义/DeepSeek/智谱/百度文心,造成:
| 痛点 | 现象 | 根因 |
|---|---|---|
| 成本失控 | 月账单从 8 万涨到 47 万,业务方各自不感知 | 没有统一计费、没有预算告警 |
| 限流雪崩 | DeepSeek 一次抖动,业务方代码疯狂重试,上游打挂 | 重试策略各自为政,无退避抖动 |
| 供应商锁定 | 想从通义切 DeepSeek,要改 12 处代码 | API 协议不统一,硬编码 |
| 审计盲区 | 用户投诉"AI 输出违规内容",无法定位调用链 | 没有全量日志、没有 trace |
结论:只要 LLM 调用超过 3 个业务方,必须有 AI 网关。Gartner 预测:到 2026 年,由 AI 和 LLM 工具驱动的 API 需求将激增超过 30%,AI 网关成为基础设施标配。
| 维度 | 传统 API Gateway | AI Gateway |
|---|---|---|
| 限流维度 | QPS / 并发数 | Token 数(核心)+ QPS + 并发 |
| 协议 | HTTP / gRPC | OpenAI / Anthropic / Gemini / 自研 |
| 负载均衡 | Round Robin / 加权 | 模型能力 + 成本 + 延迟 多维路由 |
| 缓存 | KV 内存缓存 | 语义缓存(embedding 相似度) |
| 重试 | N 倍退避 | 指数退避 + Jitter + 区分错误类型 |
| 可观测 | QPS / 错误率 | Token 消耗 / 模型分布 / 成本 / p99 延迟 |
| 安全 | API Key / IP 白名单 | Prompt Injection 防护 / 内容审核 |
最关键的差别:传统网关按"请求"治理,AI 网关必须按"Token"治理。一个请求可能消耗 10 个 Token(一句话),也可能消耗 10 万个 Token(一篇文章),二者对后端 GPU 的压力天差地别。
┌──────────────────────────────────────────────────────────────┐
│ 客户端 (业务方) │
│ ↓ 统一 OpenAI 协议 │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ AI Gateway │ │
│ │ │ │
│ │ ① 多模型路由 ② Token 限流 ③ 配额管理 │ │
│ │ ④ 降级容灾 ⑤ 重试退避 ⑥ 语义缓存 │ │
│ │ ⑦ Prompt 安全 ⑧ 可观测+计费 │ │
│ └─────────────────────────────────────────────────────┘ │
│ ↓ │
│ 通义千问 / DeepSeek / 智谱 / 文心 / Claude / GPT │
└──────────────────────────────────────────────────────────────┘