← 返回首页 📖 📖 Wiki知识库
📐 学习维度 本篇是 📖 📖 Wiki知识库 🏠 首页 🛤️ 学习路径 📚 全部文章

AIGateway与大模型网关工程化深度实战 - 第 2 章 主流方案选型:LiteLLM vs OneAPI vs Higress

本文是 AIGateway与大模型网关工程化深度实战 的分章阅读版。

第 2 章 主流方案选型:LiteLLM vs OneAPI vs Higress

2.1 三大主流方案对比

维度LiteLLMOneAPIHigress
出身开源(BerriAI)开源(国内个人)阿里云开源
语言PythonGoJava (Spring Cloud Gateway 扩展)
支持模型100+ LLM20+ 主流全部主流 + 国产
部署Docker / K8sDocker / 二进制K8s(云原生)
限流Token 维度请求数Token + 请求 + 并发
可观测内置 Langfuse 集成简单日志天然接 Prometheus/SkyWalking
企业级中等较弱强(99.99% SLA)
国内生态一般好极好(阿里云背书)
学习成本低极低中
典型适用海外业务 / 中小团队个人 / 小团队大厂 / 国央企

2.2 选型决策树


是否国央企 / 金融 / 政企?
├─ 是 → Higress(云原生 + 国产化 + 企业级)
└─ 否 → 是否海外业务?
        ├─ 是 → LiteLLM(社区活跃 + 模型覆盖广)
        └─ 否 → 团队规模?
                ├─ <10 人 → OneAPI(5 分钟搞定)
                └─ >10 人 → Higress / 自研基于 Spring Cloud Gateway

2.3 为什么深圳团队推荐 Higress

深圳 Java 转 AI 岗位主要集中在:大厂(腾讯/华为/平安/招行)、独角兽(Shopee/虾皮/传音)、ToB(金蝶/明源/广联达)。这些团队:

1. 技术栈偏 Java + Spring Cloud:Higress 基于 Spring Cloud Gateway,无缝衔接

2. 国产化合规要求:Higress 阿里背书,国央企项目首选

3. 已有 Gateway 基础设施:Higress 可作为现有 Gateway 的 AI 插件

4. 企业级特性:99.99% SLA、配置化、插件化、灰度发布

但学习时建议同时跑通 LiteLLM:① LiteLLM 模型覆盖最广;② Python 生态对 AI 更友好;③ 海外业务场景必备。



相关页面