Q60 - LLM网关与模型路由实战
共50道题 | 难度分布:★★★★★平均 | 20K+ AI应用岗位LLM基础设施必考
一、LLM网关概念与定位(1-6)
LLM网关(AI Gateway)的定义?
★★★★★
- LLM网关是统一管理、路由和控制LLM API调用的中间层,类似API网关管理微服务调用。
- 核心功能:统一API接入、多模型路由、认证授权、限流熔断、成本追踪、缓存、日志审计。
- 解决的痛点:直接调用LLM API时面临的密钥管理分散、无统一监控、无法快速切换模型、成本不可控。
- 架构位置:应用层→LLM网关→LLM API(OpenAI/Claude/国产模型)。
- 类比:LLM网关之于AI应用,就像API网关(Nginx/Kong)之于微服务。
- 面试要点:LLM网关是AI应用的基础设施层——不是业务代码,但没有它生产级AI应用无法运行。
为什么需要LLM网关?
★★★★★
- 密钥管理:多个LLM API的密钥集中管理,应用层不需要知道具体密钥。
- 统一接口:不同模型的API格式不同(OpenAI vs Claude vs 通义千问),网关提供统一接口。
- 成本控制:Token消耗追踪、预算告警、自动降级。
- 高可用:模型A宕机自动切换到模型B(Fallback)。
- 安全:输入过滤、输出过滤、审计日志、速率限制。
- 面试要点:LLM网关解决的是"多模型管理"和"生产级可靠性"两大问题。
LLM网关 vs API网关的区别?
★★★★
- API网关(Kong/Nginx/Spring Cloud Gateway):管理HTTP/RPC请求,关注路由、认证、限流。
- LLM网关:管理LLM API调用,额外关注Token计量、模型路由、语义缓存、Prompt管理。
- 交集:都做认证、限流、路由、日志。
- 区别:LLM网关理解LLM的Token语义、流式响应、模型差异——API网关不理解这些。
- 实践:可以先在API网关后面加LLM网关,也可以合并为一个。
- 面试要点:LLM网关是API网关的"AI增强版"——在传统网关基础上增加了AI特有的功能。
统一API接入设计?
★★★★
- OpenAI兼容协议:大多数LLM网关提供OpenAI格式的统一API,后端路由到不同模型。
- 请求格式统一:所有模型使用
/v1/chat/completions接口。
// 统一调用——后端可以是GPT-4o/Claude/通义千问
ChatClient chatClient = ChatClient.builder()
.baseUrl("http://llm-gateway:8080/v1") // 指向网关
.apiKey("gateway-token") // 网关统一Token
.modelName("auto") // 网关决定路由
.build();
- 好处:应用代码不关心底层用的是哪个模型——切换模型只需改网关配置。
- 面试要点:OpenAI兼容协议是LLM网关的事实标准——几乎所有网关都支持。
多模型无缝切换?
★★★★
- 场景:从GPT-4o切换到Claude,应用代码无需修改。
- 实现:网关维护模型映射表,
modelName: "gpt-4o"可以映射到任意后端模型。
- 切换策略:A/B测试切换(灰度)、全量切换、按用户/场景切换。
- 注意:不同模型的能力差异——切换后需要做质量回归测试。
- 面试要点:模型无缝切换是网关的核心价值——但切换后的质量验证是必不可少的。
LLM网关的架构模式?
★★★★
- 代理模式(Proxy):网关作为透明代理,转发请求到LLM API。最简单。
- Sidecar模式:网关以Sidecar方式部署在每个应用Pod旁。适合微服务。
- 集中式模式:所有应用通过一个中心化的网关。适合统一管理。
- SDK模式:以SDK形式嵌入应用(如Helicone SDK)。最轻量但耦合度高。
- 面试要点:集中式网关是最常见的部署方式——统一管理、统一策略。
二、智能路由策略(7-14)
基于模型的静态路由?
★★★★
- 路由规则:
modelName == "gpt-4o" → OpenAI API,modelName == "claude" → Anthropic API。
- 实现:网关维护路由表(模型名→API endpoint + API Key)。
- 适用场景:明确的模型选择需求,应用层指定模型。
- 局限:不灵活——所有请求都路由到固定模型,无法根据请求内容动态选择。
- 面试要点:静态路由是最基础的模型路由——生产环境通常需要更智能的策略。
基于权重的负载均衡路由?
★★★★
- 策略:按权重分配请求到不同模型——80%给GPT-4o,20%给Claude。
- 目的:A/B测试模型效果、分散API调用避免单模型限流。
- 实现:网关维护权重配置,每次请求按概率选择模型。
routes:
- model: gpt-4o
weight: 80
endpoint: https://api.openai.com/v1
- model: claude-sonnet
weight: 20
endpoint: https://api.anthropic.com/v1
基于请求复杂度的智能路由?
★★★★★
- 策略:根据请求复杂度自动路由到合适的模型。
- 简单请求(分类/提取/翻译)→ 小模型(GPT-4o-mini / Haiku)。
- 复杂请求(推理/代码生成/多步分析)→ 大模型(GPT-4o / Claude Sonnet)。
- 复杂度判断:
- 规则判断:Prompt长度、是否包含代码、是否需要推理。
- LLM判断:用小模型判断复杂度,再路由到合适的模型。
public String route(String prompt) {
if (prompt.length() < 200 && isSimpleTask(prompt)) {
return "gpt-4o-mini"; // 简单任务用便宜模型
}
return "gpt-4o"; // 复杂任务用强模型
}
- 面试要点:基于复杂度的智能路由是成本优化的核心——80%请求可以走小模型,节省80%成本。
基于Header特征的路由?
★★★★
- 策略:根据HTTP Header中的特征字段决定路由。
- Header字段:
X-Model-Tier(模型级别)、X-Cost-Budget(成本预算)、X-Latency-SLA(延迟要求)。
- 场景:付费用户用大模型、免费用户用小模型;实时场景用快模型。
if ($http_x_model_tier = "premium") {
proxy_pass http://gpt-4o-backend;
}
if ($http_x_model_tier = "basic") {
proxy_pass http://gpt-4o-mini-backend;
}
- 面试要点:Header路由适合按用户等级/付费级别分配模型资源。
Fallback容错路由?
★★★★★
- 策略:主模型失败时自动降级到备用模型。
- 场景:GPT-4o超时/限流→自动切换到Claude→再失败切换到国产模型。
fallback_chain:
- primary: gpt-4o
timeout: 30s
retry: 2
- secondary: claude-sonnet
timeout: 30s
retry: 1
- tertiary: qwen-max
timeout: 30s
- 触发条件:HTTP 429(限流)、5xx(服务端错误)、超时。
- 面试要点:Fallback是LLM网关高可用的关键——不能让用户因为GPT-4o宕机而无法使用。
成本优化路由?
★★★★
- 策略:在满足质量要求的前提下,优先路由到最便宜的模型。
- 成本对比:GPT-4o ($5-15/M tokens) vs GPT-4o-mini ($0.15-0.6/M tokens) → mini便宜10-50倍。
- 路由逻辑:先判断任务复杂度→简单任务用最便宜的模型→复杂任务才用贵的模型。
- 效果:80%的请求走便宜模型,成本降低60-80%,质量影响<5%。
- 面试要点:成本优化路由的ROI极高——实现简单但成本节省巨大。
地理位置路由?
★★★
- 策略:根据用户地理位置路由到最近的LLM API端点。
- 场景:中国用户路由到国产模型(合规+低延迟)、海外用户路由到OpenAI。
- 实现:根据IP地址判断地理位置→选择对应的API端点。
- 合规:部分国家/地区对AI模型有数据出境限制,需要路由到本地模型。
- 面试要点:地理路由主要是合规驱动——数据不能出境的场景必须用本地模型。
路由策略的评估与调优?
★★★★
- 评估指标:路由准确率(是否路由到了正确的模型)、成本节省率、质量保持率。
- A/B测试:同一请求同时发到两个模型,对比质量+成本。
- 持续调优:根据评估结果调整路由规则和阈值。
- 面试要点:路由策略不是一次性的——需要持续评估和调优。
三、主流LLM网关工具(15-20)
One-API详解?
★★★★★
- One-API:开源的LLM API统一管理平台(GitHub 20k+ Stars)。
- 核心功能:统一OpenAI格式接口、多模型路由、API Key管理、用量统计、令牌管理。
- 支持模型:OpenAI、Claude、通义千问、文心一言、智谱、Gemini等20+模型。
- 部署:Docker一键部署,数据库用SQLite/MySQL。
- 令牌系统:每个用户分配独立的令牌(API Key),可以设置额度、过期时间、模型权限。
- 面试要点:One-API是国内最流行的LLM网关——简单易用,适合中小团队。
LiteLLM详解?
★★★★
- LiteLLM:Python开源的LLM API统一代理(GitHub 15k+ Stars)。
- 核心功能:100+模型统一接口、Fallback、成本追踪、速率限制、缓存。
- 特点:Python SDK,可以嵌入Python应用中或作为独立代理运行。
- 成本追踪:自动计算每次调用的成本,支持按用户/模型聚合。
- Fallback:自动从失败模型切换到备用模型。
from litellm import completion
response = completion(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello"}],
fallbacks=["claude-sonnet", "qwen-max"]
)
- 面试要点:LiteLLM适合Python生态——Java生态更多用One-API或自建网关。
Higress AI网关?
★★★★
- Higress:阿里开源的云原生API网关,内置AI增强功能。
- AI功能:LLM路由、Token限流、语义缓存、Prompt模板管理、Fallback。
- 基于Envoy:高性能C++代理内核,适合大规模生产环境。
- K8s原生:通过Ingress/Gateway API配置路由。
- 面试要点:Higress适合阿里云生态的企业——从传统API网关平滑升级到AI网关。
Portkey AI Gateway?
★★★
- Portkey:商业LLM网关,提供统一API、Fallback、缓存、可观测性。
- 特点:SaaS模式,零部署,快速接入。
- 功能:自动重试、负载均衡、语义缓存、Prompt管理、评估框架。
- 劣势:闭源商业产品、数据必须经过Portkey服务器。
- 面试要点:Portkey适合不想运维的小团队——但安全敏感企业不适合。
工具选型对比总结?
★★★★
- One-API:国产开源、简单易用、适合中小团队。推荐Java生态。
- LiteLLM:Python生态、功能全面、Fallback+成本追踪强。
- Higress:云原生、高性能、适合大规模生产。推荐阿里云用户。
- 自建网关:Spring Cloud Gateway + 自定义Filter。最大灵活度但开发量大。
- 选型决策:团队规模+技术栈+预算+安全要求综合判断。
- 面试要点:展示你了解多种方案并能根据场景选型。
Spring Cloud Gateway作为LLM网关?
★★★★★
- 优势:Java生态原生支持、与Spring AI无缝集成、团队熟悉。
- 自定义Filter实现LLM网关功能:
@Component
public class LlmRoutingFilter implements GlobalFilter {
@Override
public Mono<Void> filter(ServerWebExchange ex, GatewayFilterChain chain) {
String prompt = ex.getRequest().getBody(); // 提取Prompt
String model = routingStrategy.route(prompt); // 路由决策
ex.getRequest().mutate().header("X-Target-Model", model);
return chain.filter(ex);
}
}
- 需要实现:路由Filter、Token计量Filter、限流Filter、Fallback Filter、缓存Filter。
- 面试要点:Spring Cloud Gateway做LLM网关需要自定义开发——适合对灵活度要求高的场景。
四、限流熔断与高可用(21-27)
LLM API限流策略?
★★★★★
- LLM API的限流维度:请求频率(RPM)、Token频率(TPM)、并发请求数。
- OpenAI限流:GPT-4o Tier1 = 500 RPM / 30K TPM。
- 网关限流:在应用层做限流,避免触发API服务商的限流(429错误)。
- 算法:令牌桶(Token Bucket)——按TPM发放令牌,桶满则等待。
- 多Key轮转:准备多个API Key,轮流使用分散限流压力。
@Bean
public RedisRateLimiter llmRateLimiter() {
return new RedisRateLimiter(100, 200); // 100 replenishRate, 200 burstCapacity
}
- 面试要点:LLM限流的核心是Token级限流(TPM),不是请求级限流(RPM)。
熔断器设计?
★★★★
- 熔断触发:LLM API连续失败N次或错误率>X%→触发熔断→停止向该模型发送请求。
- 熔断状态:Closed(正常)→ Open(熔断,直接Fallback)→ Half-Open(试探恢复)。
- 实现:Resilience4j + 自定义熔断策略。
CircuitBreaker cb = CircuitBreaker.ofDefaults("gpt-4o")
.toBuilder()
.failureRateThreshold(50)
.waitDurationInOpenState(Duration.ofSeconds(30))
.build();
- 面试要点:LLM熔断的核心是"快速失败+自动恢复"——不让用户等超时。
重试策略?
★★★★
- 可重试错误:429(限流,等一会重试)、503(服务临时不可用)、网络超时。
- 不可重试错误:400(请求格式错误)、401(认证失败)、输出质量差。
- 重试策略:指数退避(1s, 2s, 4s)+ 抖动(随机化避免雪崩)+ 最大重试3次。
- 降级重试:重试时可以降级到更便宜的模型(GPT-4o→GPT-4o-mini)。
- 面试要点:LLM重试要注意"可重试"和"不可重试"错误的区分。
语义缓存(Semantic Cache)?
★★★★★
- 原理:将查询Embedding为向量,在向量库中查找语义相似的历史查询→直接返回缓存结果。
- 相似度阈值:余弦相似度>0.95时命中缓存。
- 缓存分层:
- 精确缓存(Hash):相同请求精确匹配,命中率低但零误差。
- 语义缓存(Vector):语义相似匹配,命中率高但可能有偏差。
- 适用场景:FAQ、重复性查询多的客服场景。
- 效果:命中率高时节省80%+成本和延迟。
- 面试要点:语义缓存是LLM网关最有价值的优化——命中率取决于业务场景。
多Key轮转管理?
★★★★
- 问题:单个API Key有RPM/TPM限制,大流量场景需要多个Key。
- 方案:维护Key池,每次请求轮转选择Key;某Key触发限流时临时移出池。
- Key健康检查:定期检查每个Key的状态(有效/限流/过期)。
- 安全:Key集中存储在加密配置中,应用层通过网关统一访问。
- 面试要点:多Key轮转是高并发LLM应用的标配——单Key无法支持大规模流量。
LLM网关的高可用架构?
★★★★
- 网关层高可用:多实例部署 + 负载均衡(K8s Service / Nginx)。
- 上游高可用:Fallback链(主模型→备模型→缓存响应→默认响应)。
- 数据高可用:缓存和配置数据持久化到Redis/数据库。
- 降级策略:全模型不可用时返回缓存结果或预设回复。
- 面试要点:LLM网关的高可用是"网关层+上游层+数据层"三层保障。
灰度发布与模型切换?
★★★★
- 场景:从GPT-4o切换到Claude,不想一次性切换所有流量。
- 灰度策略:5%→10%→25%→50%→100%逐步放量。
- 评估:每阶段对比两个模型的质量、延迟、成本。
- 回滚:任何阶段发现质量下降,一键回滚到旧模型。
- 面试要点:模型切换要像代码发布一样做灰度——不能"一刀切"。
五、安全与合规(28-32)
API密钥集中管理?
★★★★★
- 原则:应用层不直接持有LLM API Key,通过网关统一管理。
- 存储:加密数据库或密钥管理服务(Vault)。
- 轮换:定期更换Key,网关自动切换到新Key。
- 审计:记录每个Key的使用情况(调用次数、Token消耗、错误率)。
- 面试要点:API Key集中管理是LLM网关最基本的安全功能。
请求/响应过滤?
★★★★
- 输入过滤:在网关层做Prompt Injection检测、PII脱敏、内容审核。
- 输出过滤:检测LLM输出中的敏感信息、有害内容、格式错误。
- 实现:网关Filter拦截请求/响应,调用安全检测服务。
- 面试要点:网关层的安全过滤是"中心化"的安全策略——所有LLM调用都经过统一的安全检查。
审计日志?
★★★★
- 记录内容:谁(用户ID)、何时(时间戳)、调用什么(模型)、输入摘要、输出摘要、Token用量、成本、耗时。
- 存储:ELK / 专用的审计数据库。
- 保留:根据合规要求保留6个月-3年。
- 隐私:日志中的完整Prompt/响应需脱敏后存储。
- 面试要点:LLM网关是审计日志的最佳采集点——所有LLM调用都经过网关。
合规与数据出境?
★★★★
- 问题:调用海外LLM API时,数据可能跨境传输。
- 中国法规:个人信息和重要数据原则上不应出境。
- 解决方案:
- 国内用户→路由到国产模型(通义千问/文心一言/智谱)。
- 海外用户→路由到OpenAI/Claude。
- 数据脱敏:出境前脱敏,减少合规风险。
- 面试要点:数据出境合规是AI应用的"红线"——网关层的地理路由可以解决。
多租户隔离?
★★★★
- 租户级配置:每个租户有独立的模型配额、API Key池、限流策略、成本预算。
- 实现:租户ID → 查询租户配置 → 应用对应的路由/限流/策略。
- 成本分摊:按租户统计Token消耗和成本,用于计费。
- 面试要点:多租户LLM网关是SaaS AI应用的基础设施。
六、成本治理(33-37)
Token消耗实时监控?
★★★★★
- 采集:网关在每次请求后记录input_tokens + output_tokens。
- 聚合:按分钟/小时/天、按模型、按用户、按应用维度聚合。
- 展示:Grafana Dashboard实时展示Token消耗趋势。
- 成本换算:Token × 模型单价 = 实时成本。
- 面试要点:Token消耗监控是成本治理的基础——不能不知道钱花在了哪里。
成本预算与告警?
★★★★
- 预算设置:每日/每月成本预算上限。
- 告警级别:80%预警(通知)、100%限制(降级/限流)、120%紧急(停止服务)。
- 自动降级:达到预算后自动将请求路由到更便宜的模型。
- 实现:Redis计数器 + 定时重置 + Webhook告警。
- 面试要点:LLM应用的成本失控是真实风险——必须设置预算硬限制。
成本优化最佳实践?
★★★★
- 模型分级:根据任务复杂度匹配模型级别(mini/standard/premium)。
- 语义缓存:FAQ场景缓存命中率80%+。
- Prompt精简:减少System Prompt长度,节约Input Token。
- 批处理:非实时场景用Batch API(便宜50%)。
- Token限制:设置
max_tokens限制输出长度。
- 面试要点:成本优化是系统工程——不是单一策略能解决的。
多模型成本对比Dashboard?
★★★★
- 内容:按模型展示调用次数、Token消耗、成本、平均延迟、质量评分。
- 对比维度:同一任务不同模型的质量-成本-延迟三角对比。
- 决策支持:基于数据决定"哪个模型适合哪个场景"。
- 面试要点:成本Dashboard不只是看花了多少钱——还要看"钱花得值不值"。
按用户/租户成本分摊?
★★★★
- 场景:SaaS AI应用需要按租户分摊LLM调用成本。
- 实现:网关在每次请求中记录租户ID,统计Token消耗。
- 计费模式:按Token用量计费(精确)、按请求次数计费(简单)、包月套餐。
- 面试要点:成本分摊是SaaS AI应用的商业模式基础——必须精确到租户。
七、实战与面试总结(38-50)
One-API部署实战?
★★★★
# docker-compose.yml
services:
one-api:
image: justsong/one-api
ports:
- "3000:3000"
environment:
- SQL_DSN=root:password@tcp(mysql:3306)/oneapi
- REDIS_CONN_STRING=redis://redis:6379
depends_on:
- mysql
- redis
mysql:
image: mysql:8
environment:
MYSQL_ROOT_PASSWORD: password
MYSQL_DATABASE: oneapi
redis:
image: redis:7
- 面试要点:One-API的Docker部署非常简单——适合快速搭建LLM网关。
Spring Cloud Gateway + LLM路由完整实现?
★★★★★
@Configuration
public class LlmGatewayConfig {
@Bean
public RouteLocator customRouteLocator(RouteLocatorBuilder builder) {
return builder.routes()
.route("openai", r -> r
.header("X-Target-Model", "gpt-4o")
.uri("https://api.openai.com/v1"))
.route("claude", r -> r
.header("X-Target-Model", "claude")
.uri("https://api.anthropic.com/v1"))
.route("qwen", r -> r
.header("X-Target-Model", "qwen")
.uri("https://dashscope.aliyuncs.com/api/v1"))
.build();
}
}
@Component
public class TokenCountFilter implements GlobalFilter {
@Override
public Mono<Void> filter(ServerWebExchange ex, GatewayFilterChain chain) {
return chain.filter(ex).doAfterTerminate(() -> {
String usage = ex.getResponse().getHeaders().getFirst("X-Token-Usage");
meterRegistry.counter("llm.tokens", "model", getModel(ex)).increment(parseTokens(usage));
});
}
}
- 面试要点:Spring Cloud Gateway做LLM网关需要3个核心Filter:路由、Token计量、Fallback。
LLM网关的监控Dashboard设计?
★★★★
- 面板1(概览):总QPS、平均延迟、错误率、Token/min、成本/hour。
- 面板2(模型对比):各模型QPS、延迟、成本、质量评分。
- 面板3(路由分析):路由到各模型的比例、Fallback触发次数、缓存命中率。
- 面板4(成本):成本趋势、按模型成本分布、预算消耗进度。
- 面板5(错误):错误类型分布、限流触发次数、熔断状态。
- 面试要点:LLM网关Dashboard要同时展示性能、成本、路由效果。
LLM网关的性能优化?
★★★★
- 连接池:复用到LLM API的HTTP连接(Keep-Alive + 连接池)。
- 流式透传:网关透传SSE流,不做缓冲(避免延迟增加)。
- 缓存:语义缓存减少LLM API调用。
- 异步:网关异步转发请求,不阻塞线程。
- 批量:多个小请求合并为一个Batch请求。
- 面试要点:LLM网关的性能瓶颈通常是网络IO——连接池和流式透传是关键优化。
国产模型接入实践?
★★★★
- 通义千问(阿里):兼容OpenAI格式,国内延迟低。
- 文心一言(百度):自有API格式,需要适配。
- 智谱(GLM):兼容OpenAI格式,学术背景强。
- DeepSeek:性价比极高,开源模型表现好。
- 网关适配:通过统一的OpenAI兼容层,将不同格式的国产模型统一接入。
- 面试要点:国产模型接入的核心是"OpenAI兼容适配"——大多数国产模型已支持。
LLM网关的测试策略?
★★★★
- 单元测试:路由规则、限流算法、Fallback逻辑。
- 集成测试:网关→真实LLM API的端到端调用。
- 压力测试:高并发下的延迟、错误率、资源消耗。
- 混沌测试:模拟LLM API故障,验证Fallback和熔断。
- 面试要点:LLM网关的测试重点是"异常场景"——正常路由很简单,异常处理才复杂。
LLM网关的演进路线?
★★★
- 阶段1(基础):统一API接入 + 密钥管理 + 简单路由。
- 阶段2(增强):智能路由 + Fallback + 限流熔断 + 成本追踪。
- 阶段3(高级):语义缓存 + Prompt管理 + 质量评估 + 自动优化。
- 阶段4(智能):自适应路由(根据实时质量/成本/延迟动态调整)。
- 面试要点:LLM网关从"简单代理"到"智能路由"的演进路线。
从零搭建LLM网关的架构设计?
★★★★★
- 技术选型:Spring Cloud Gateway / Higress / One-API。
- 核心组件:路由引擎、限流器、熔断器、缓存层、Token计量、Fallback链、审计日志。
- 数据存储:Redis(限流计数+缓存)、PostgreSQL(配置+审计)、Milvus(语义缓存)。
- 监控:Prometheus + Grafana。
- 高可用:多实例 + K8s HPA + 健康检查。
- 面试要点:从零搭建LLM网关要展示"技术选型→架构设计→关键组件→高可用"的完整思路。
LLM网关与Spring AI的集成?
★★★★
// Spring AI通过网关调用LLM
@Bean
public ChatModel chatModel() {
return new OpenAiChatModel(
OpenAiApi.builder()
.baseUrl("http://llm-gateway:8080/v1") // 网关地址
.apiKey("gateway-token") // 网关统一Token
.build()
);
}
// 网关层路由Filter根据请求自动选择模型
// 应用层无需关心底层用哪个模型
ChatResponse response = chatClient.prompt()
.user("分析这段代码")
.call()
.chatResponse();
- 面试要点:Spring AI + LLM网关的组合让应用代码完全不感知底层模型切换。
Server-Sent Events流式透传?
★★★★
- 挑战:网关必须透传LLM的SSE流式响应,不能缓冲等待完整响应。
- Spring Cloud Gateway:天然支持流式透传(基于Netty异步IO)。
- Nginx:需要关闭
proxy_buffering。
- 注意:流式透传时无法修改响应内容——如果需要过滤,必须用全量模式。
- 面试要点:LLM网关的流式透传是性能关键——缓冲模式会显著增加首Token延迟。
LLM网关面试高频总结?
★★★★★
- 高频1:为什么需要LLM网关?→ 统一管理、智能路由、成本控制、高可用。
- 高频2:模型路由策略有哪些?→ 静态/权重/复杂度/Header/Fallback。
- 高频3:如何实现Fallback?→ 熔断+重试+降级链。
- 高频4:语义缓存怎么实现?→ 查询Embedding+向量相似度匹配。
- 高频5:如何做成本控制?→ Token计量+预算告警+智能路由(简单任务用小模型)。
- 高频6:用过哪些LLM网关?→ One-API/LiteLLM/Higress/自建。
- 面试要点:LLM网关面试的核心是"路由策略+成本控制+高可用"三大主题。
LLM网关的未来趋势?
★★★
- 自适应路由:基于实时模型质量/延迟/成本自动调整路由策略。
- 多模态网关:支持文本+图像+音频+视频的统一路由。
- Agent网关:专门为Agent工作流设计的网关(多步调用编排、上下文传递)。
- 边缘推理:模型推理下沉到边缘节点,网关路由到最近的推理节点。
- 面试要点:LLM网关正在从"API代理"进化为"AI流量管理平台"。
LLM网关架构设计答题模板?
★★★★★
- 需求分析:模型数量、流量规模、成本预算、延迟要求、安全合规。
- 技术选型:One-API(快速)vs Spring Cloud Gateway(灵活)vs Higress(高性能)。
- 核心设计:
- 路由:复杂度判断→智能路由→Fallback链。
- 限流:Token级令牌桶 + 多Key轮转。
- 缓存:语义缓存减少80%调用。
- 监控:Token消耗 + 成本 + 延迟 + 质量四维监控。
- 高可用:熔断 + Fallback + 灰度切换 + 多实例。
- 安全:密钥集中管理 + 输入输出过滤 + 审计日志 + 数据出境合规。
- 面试要点:用5步模板完整回答——需求→选型→核心设计→高可用→安全。