本文是 AIGateway与大模型网关工程化深度实战 的分章阅读版。
| 维度 | LiteLLM | OneAPI | Higress |
|---|---|---|---|
| 出身 | 开源(BerriAI) | 开源(国内个人) | 阿里云开源 |
| 语言 | Python | Go | Java (Spring Cloud Gateway 扩展) |
| 支持模型 | 100+ LLM | 20+ 主流 | 全部主流 + 国产 |
| 部署 | Docker / K8s | Docker / 二进制 | K8s(云原生) |
| 限流 | Token 维度 | 请求数 | Token + 请求 + 并发 |
| 可观测 | 内置 Langfuse 集成 | 简单日志 | 天然接 Prometheus/SkyWalking |
| 企业级 | 中等 | 较弱 | 强(99.99% SLA) |
| 国内生态 | 一般 | 好 | 极好(阿里云背书) |
| 学习成本 | 低 | 极低 | 中 |
| 典型适用 | 海外业务 / 中小团队 | 个人 / 小团队 | 大厂 / 国央企 |
是否国央企 / 金融 / 政企?
├─ 是 → Higress(云原生 + 国产化 + 企业级)
└─ 否 → 是否海外业务?
├─ 是 → LiteLLM(社区活跃 + 模型覆盖广)
└─ 否 → 团队规模?
├─ <10 人 → OneAPI(5 分钟搞定)
└─ >10 人 → Higress / 自研基于 Spring Cloud Gateway
深圳 Java 转 AI 岗位主要集中在:大厂(腾讯/华为/平安/招行)、独角兽(Shopee/虾皮/传音)、ToB(金蝶/明源/广联达)。这些团队:
1. 技术栈偏 Java + Spring Cloud:Higress 基于 Spring Cloud Gateway,无缝衔接
2. 国产化合规要求:Higress 阿里背书,国央企项目首选
3. 已有 Gateway 基础设施:Higress 可作为现有 Gateway 的 AI 插件
4. 企业级特性:99.99% SLA、配置化、插件化、灰度发布
但学习时建议同时跑通 LiteLLM:① LiteLLM 模型覆盖最广;② Python 生态对 AI 更友好;③ 海外业务场景必备。