20K Java+AI 岗位2025-2026高频考点 — 系统稳定性是架构师的必修课。覆盖高可用设计原则、限流熔断降级、全链路压测、混沌工程、容灾多活、变更管理、SRE实践、故障复盘。
可用性 = MTBF / (MTBF + MTTR)
SLA等级对照:
99.9% → 8小时45分/年 → 常规业务可接受
99.99% → 52分36秒/年 → 核心交易系统
99.999% → 5分15秒/年 → 金融/电信级
| 指标 | 全称 | 含义 | 方向 |
|---|---|---|---|
| RTO | Recovery Time Objective | 恢复时间目标(多久恢复) | 越短→恢复越快 |
| RPO | Recovery Point Objective | 恢复点目标(丢失多少数据) | 越短→数据丢失越少 |
// 面向失败设计的代码体现:每个外部调用都有兜底
@CircuitBreaker(name = "userService", fallbackMethod = "getUserFallback")
@Timeout(value = 3, unit = ChronoUnit.SECONDS)
public User getUser(Long userId) {
return userClient.get(userId);
}
private User getUserFallback(Long userId, Exception e) {
return User.defaultUser(userId); // 返回兜底数据
}
| 算法 | 原理 | 特点 | 适用场景 |
|---|---|---|---|
| 固定窗口 | 时间段内计数 | 简单但有临界突刺 | 低精度场景 |
| 滑动窗口 | 时间段滑动计数 | 平滑但内存开销高 | 中等精度 |
| 漏桶 | 匀速流出请求 | 流量整形,匀速处理 | 流量整形 |
| 令牌桶 | 匀速生成令牌 | 允许突发流量 | API限流 |
| 滑动日志 | 记录每个请求时间戳 | 精确但耗内存 | 高精度场景 |
// 规则配置
FlowRule rule = new FlowRule("orderService")
.setCount(100) // QPS阈值
.setGrade(RuleConstant.FLOW_GRADE_QPS)
.setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_WARM_UP) // 预热模式
.setWarmUpPeriodSec(10);
FlowRuleManager.loadRules(List.of(rule));
// 代码中使用
try (Entry entry = SphU.entry("orderService")) {
return orderService.create(request);
} catch (BlockException e) {
return ApiResponse.error(429, "系统繁忙,请稍后重试");
}
Sentinel核心能力:流控(QPS/线程数)、熔断(慢调用/异常比例/异常数)、热点参数限流、系统自适应保护。
请求成功 → [Closed] ──失败率>阈值──→ [Open] ──超时──→ [Half-Open]
↑ │
└──────试探成功──────────────────────────试探失败─┘
↓
[Open]
resilience4j:
circuitbreaker:
instances:
orderService:
slidingWindowSize: 10 # 滑动窗口大小
failureRateThreshold: 50 # 失败率阈值%
waitDurationInOpenState: 30s # Open状态等待时间
permittedNumberOfCallsInHalfOpenState: 5 # 半开状态试探次数
slowCallDurationThreshold: 3s # 慢调用阈值
slowCallRateThreshold: 80 # 慢调用率阈值%
Java使用:
CircuitBreakerConfig config = CircuitBreakerConfig.custom()
.failureRateThreshold(50)
.waitDurationInOpenState(Duration.ofSeconds(30))
.slidingWindowSize(10)
.build();
CircuitBreaker cb = CircuitBreaker.of("orderService", config);
核心原则:核心链路(下单/支付)不降级,非核心链路(推荐/评论)可牺牲。
@CircuitBreaker(name = "paymentService", fallbackMethod = "fallback")
public PaymentResult pay(Order order) {
return paymentClient.pay(order);
}
private PaymentResult fallback(Order order, Exception e) {
// 降级方案:记录到本地表,后台任务补偿
log.warn("支付服务降级,订单{}进入待支付队列", order.getId());
pendingPaymentService.save(order);
return PaymentResult.pending(order.getId());
}
// 降级策略选择
public Result getRecommendations(Long userId) {
try {
return recommendationService.get(userId); // 优先AI推荐
} catch (Exception e) {
return hotItemCache.getTop100(); // 降级为热门列表
}
}
超时漏斗示例:
网关层(30s) → 服务A(10s) → 服务B(5s) → DB(3s)
↑ ↑ ↑
含重试时间 含重试时间 单次查询
delay = baseDelay * 2^n + random(0, 200ms)
@Retryable(
value = {ServiceException.class}, // 可重试的异常
maxAttempts = 3, // 最大尝试次数(含首次)
backoff = @Backoff(
delay = 1000, // 初始延迟1s
multiplier = 2, // 指数倍数
maxDelay = 5000 // 最大延迟5s
)
)
public Order getOrder(Long id) {
return orderClient.get(id);
}
@Recover
public Order recover(ServiceException e, Long id) {
log.warn("重试耗尽,降级查询缓存, orderId={}", id);
return orderCacheService.get(id); // 重试耗尽后降级
}
| 挑战 | 说明 | 解决方案 |
|---|---|---|
| 数据隔离 | 压测数据不影响真实数据 | 影子库/影子表 |
| 流量染色 | 压测请求全链路标记 | HTTP Header透传 |
| 环境隔离 | 压测路由到影子资源 | 中间件识别染色标记 |
| 零侵入 | 不改业务代码 | Agent/插件方式 |
染色链路:
压测发起 → HTTP Header: X-Pressure-Test: true
→ OpenTelemetry Baggage / MDC 全链路透传
→ 各中间件识别染色标记
→ 路由到影子资源(影子表/影子Redis/影子MQ)
// Filter层标记染色
@Component
public class PressureTestFilter implements Filter {
@Override
public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) {
HttpServletRequest httpReq = (HttpServletRequest) req;
String ptFlag = httpReq.getHeader("X-Pressure-Test");
if ("true".equals(ptFlag)) {
PressureTestContext.mark(); // ThreadLocal标记
MDC.put("pt", "true");
}
chain.doFilter(req, res);
PressureTestContext.clear();
}
}
-- 压测数据写入影子表,不影响真实数据
-- 真实表:orders
-- 影子表:orders_pt
-- MyBatis插件根据染色标记自动切换表名
// MyBatis拦截器:自动替换表名
@Intercepts(@Signature(type = StatementHandler.class, method = "prepare"))
public class ShadowTableInterceptor implements Interceptor {
@Override
public Object intercept(Invocation inv) throws Throwable {
if (PressureTestContext.isMarked()) {
// SQL中 orders → orders_pt
// SQL中 users → users_pt
}
return inv.proceed();
}
}
// Redis使用独立key前缀
String realKey = "user:123";
String ptKey = "pt:user:123";
1. 梳理核心链路:确定压测的业务流程(首页→搜索→加购→下单→支付)
2. 录制真实流量:复制线上真实请求作为压测模型
3. 构造压测数据:生成隔离的压测用户、商品、订单数据
4. 逐步加压:10% → 30% → 50% → 80% → 100% → 120%(超额验证)
5. 监控全链路指标:QPS、延迟、错误率、CPU、内存、GC、DB慢SQL
6. 定位瓶颈:找到最先达到瓶颈的组件
7. 优化后复测:验证优化效果
关键指标:
├── QPS曲线:是否线性增长?拐点在哪?
├── 延迟分布:P50/P90/P99是否达标?
├── 错误率拐点:从哪个QPS开始错误率飙升?
├── 资源瓶颈:CPU>80%? GC频繁? DB慢SQL? MQ积压?
└── 容量水位线:安全水位 = 压测峰值 × 70%
输出报告示例:
| 指标 | 当前 | 目标 | 瓶颈组件 |
| QPS | 5000 | 8000 | DB连接池 |
| P99延迟 | 200ms | 100ms | Redis超时 |
| 错误率 | 0.1% | <0.01% | 无 |
"Chaos Engineering is the discipline of experimenting on a system in order to build confidence in the system's capability to withstand turbulent conditions." — principlesofchaos.org
1. 定义稳态假设:系统正常行为的度量(如P99 < 200ms,错误率 < 0.1%)
2. 引入真实世界事件:杀进程、断网络、加延迟、磁盘满
3. 观察系统是否偏离稳态:监控指标是否恶化
4. 改进系统:修复发现的弱点,加固防护
稳态假设 → 注入故障 → 观察偏差 → 改进系统 → 再次验证
↑ │
└────────────────────────────────────────┘
# 注入CPU满载
blade create cpu load --cpu-percent 80 --timeout 60
# 注入网络延迟(模拟DB延迟3s)
blade create network delay --time 3000 --interface eth0 --remote-port 3306
# 注入Java方法异常
blade create jvm throwCustomException \
--classname com.example.OrderService \
--methodname createOrder \
--exception "java.lang.RuntimeException: chaos test"
# 注入MySQL慢查询
blade create mysql delay --time 3000 --port 3306
# 恢复(销毁实验)
blade destroy <uid>
| 层级 | 场景 | 工具 |
|---|---|---|
| 基础设施 | 机器宕机、磁盘满、网络分区 | ChaosBlade、Chaos Mesh |
| 应用层 | 线程池满、OOM、进程被杀 | ChaosBlade JVM |
| 中间件 | DB慢查询、Redis超时、MQ延迟 | ChaosBlade MySQL/Redis |
| 依赖层 | 第三方API不可用、DNS故障 | WireMock、Toxiproxy |
1. 搭建混沌平台:基于ChaosBlade/Chaos Mesh,提供可视化操作界面
2. 与CI/CD集成:每次发布前自动执行故障演练
3. 定义稳态指标:明确系统正常运行时的度量
4. 从小范围开始:先在非核心服务演练,积累经验
5. 建立故障库:记录历史故障场景,定期回放验证
6. 复盘改进:每个实验结果都要有改进措施
| Level | 阶段 | 特征 |
|---|---|---|
| Level 1 | 手动注入 | 人工执行故障注入,手动观察 |
| Level 2 | 自动化演练 | CI/CD集成,自动故障演练 |
| Level 3 | 持续混沌 | Gameday定期演练,全场景覆盖 |
| Level 4 | 混沌即常态 | 生产环境持续运行,故障自愈 |
主备(冷备) → 主备(热备) → 同城双活 → 异地双活 → 异地多活
RTO:小时级 分钟级 秒级 分钟级 秒级
RPO:小时级 分钟级 ≈0 分钟级 秒级
成本:低 中 中高 高 极高
┌─ 机房A ──────────────┐
用户 ──DNS──┤ 服务实例(50%流量) ├──┐
│ DB主库 ←─────┐ │ │
└───────────────┼────┘ │
┌─ 机房B ───────┼────┐ │
│ 服务实例(50%流量) │ │
│ DB从库(同步复制) │──┘
└───────────────────┘
北京机房 ←──数据同步──→ 上海机房 ←──数据同步──→ 深圳机房
│ │ │
用户(华北) 用户(华东) 用户(华南)
| 数据类型 | 同步工具 | 特点 |
|---|---|---|
| MySQL | Canal / Debezium | binlog解析,准实时 |
| Redis | Redis-shake | 支持跨版本同步 |
| MQ | 集群间复制 | 异步,可能有延迟 |
| ES | Cross-Cluster Replication | 索引级同步 |
// 单元路由规则
public String getUnitId(Long userId) {
int unitCount = 4; // 4个单元
return "unit_" + (userId % unitCount);
}
// 请求路由拦截
public class UnitRouterInterceptor implements HandlerInterceptor {
@Override
public boolean preHandle(HttpServletRequest req, ...) {
Long userId = extractUserId(req);
String targetUnit = unitRouter.getUnitId(userId);
if (!currentUnit.equals(targetUnit)) {
// 转发到目标单元
forwardToUnit(targetUnit, req);
return false;
}
return true;
}
}
| 切换方式 | 耗时 | 适用场景 |
|---|---|---|
| DNS切换 | 分钟级 | 机房级故障,全局切换 |
| Nginx upstream切换 | 秒级 | 服务级故障,部分切换 |
| 数据库主从切换 | 秒级 + VIP | DB主库故障 |
| K8s Pod迁移 | 秒级 | 节点故障 |
| 策略 | 原理 | 特点 |
|---|---|---|
| 金丝雀发布 | 1%→10%→50%→100% | 渐进式,风险最小 |
| 蓝绿部署 | 两套环境切换 | 瞬间切换,回滚快 |
| 滚动更新 | K8s RollingUpdate | 逐个替换,零停机 |
金丝雀发布流程:
v2发布到1%流量 → 监控5min → 无异常 → 扩到10%
→ 监控10min → 无异常 → 扩到50% → 监控30min → 全量
→ 任何阶段异常 → 秒级回滚到v1
// 基于Togglz的Feature Flag
public enum Features implements Feature {
@EnabledByDefault
@Label("新版推荐算法")
NEW_RECOMMENDATION,
@DisabledByDefault
@Label("AI客服功能")
AI_CUSTOMER_SERVICE;
}
// 业务代码中使用
@GetMapping("/recommend")
public List<Item> recommend(Long userId) {
if (Features.NEW_RECOMMENDATION.isActive()) {
return aiRecommendService.get(userId); // 新算法
}
return hotItemService.getTop100(); // 旧算法
}
// 运维API秒级关闭
// POST /togglz/manage/disable?feature=NEW_RECOMMENDATION
优势:出问题秒级关闭,比代码回滚更快。新功能默认关闭,灰度开启。
变更分级:
P0(高危):数据库DDL、核心链路改动、多服务联动 → 需变更委员会审批
P1(中危):单服务功能变更、配置修改 → 需TL审批
P2(低危):文案修改、样式调整 → 自行发布
# K8s零停机部署配置
spec:
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1 # 滚动更新时多启动1个Pod
maxUnavailable: 0 # 不允许有Pod不可用
# 优雅停机
terminationGracePeriodSeconds: 60
containers:
- name: app
readinessProbe: # 就绪探针:流量排空
httpGet:
path: /actuator/health/readiness
port: 8080
initialDelaySeconds: 10
livenessProbe: # 存活探针:自动重启
httpGet:
path: /actuator/health/liveness
port: 8080
initialDelaySeconds: 30
# Spring Boot优雅停机
server:
shutdown: graceful # 优雅停机
spring:
lifecycle:
timeout-per-shutdown-phase: 30s # 最长等待30s
| 实践 | 说明 |
|---|---|
| SLO/SLI/SLA | 定义服务质量目标、指标、协议 |
| Error Budget | 错误预算管理,平衡稳定性与迭代速度 |
| On-Call | 轮值机制,确保7×24小时响应 |
| 事故响应 | 标准化的事故处理流程 |
| Post-Mortem | 无责复盘,持续改进 |
| 消除Toil | 自动化重复性运维工作 |
Error Budget计算示例:
SLO: 99.9%
月度总分钟数: 43200min
允许停机: 43200 × 0.1% = 43.2min
已用: 25min → 剩余18.2min → 可以继续发布
已用: 43.2min → 预算耗尽 → 冻结发布
# Runbook模板:订单服务P99延迟飙升
## 现象:订单接口P99 > 500ms
## 排查步骤:
1. 检查监控:是否某台机器异常 → 下线异常节点
2. 检查DB:是否有慢SQL → kill慢查询
3. 检查Redis:是否连接池满 → 扩容或重启
4. 检查MQ:是否消费延迟 → 增加Consumer
5. 以上都正常 → 查最近变更 → 回滚可疑变更
# 事故复盘报告
## 基本信息
- 事故时间:2025-06-04 14:00 ~ 14:45(持续45分钟)
- 影响范围:下单功能不可用,影响约10万用户
- 严重等级:P1
## 时间线
- 14:00 告警触发:订单服务错误率 > 5%
- 14:05 On-Call确认,开始排查
- 14:15 定位原因:数据库连接池耗尽
- 14:30 执行修复:扩容连接池 + 重启服务
- 14:45 服务恢复,确认指标正常
## 根因分析(5 Whys)
- 为什么下单失败?→ DB连接池耗尽
- 为什么连接池耗尽?→ 慢查询占用连接
- 为什么有慢查询?→ 新索引未生效,全表扫描
- 为什么索引未生效?→ 发布时漏执行DDL
- 为什么漏执行?→ 发布流程缺少DDL检查
## 改进措施
| 措施 | 负责人 | 截止日期 |
|------|--------|---------|
| 发布流程增加DDL检查 | 张三 | 6/11 |
| 连接池监控告警完善 | 李四 | 6/11 |
| 慢查询自动kill机制 | 王五 | 6/18 |
// 自愈脚本示例:磁盘使用率 > 85% 自动清理
@Scheduled(fixedRate = 300000) // 每5分钟检查
public void diskAutoClean() {
double usage = diskMonitor.getUsage("/data/logs");
if (usage > 85) {
log.warn("磁盘使用率{}%,开始自动清理", usage);
// 1. 清理7天前的日志
cmdExecutor.execute("find /data/logs -mtime +7 -delete");
// 2. 压缩3天前的日志
cmdExecutor.execute("find /data/logs -mtime +3 -name '*.log' -exec gzip {} \\;");
// 3. 清理dump文件
cmdExecutor.execute("find /data -name '*.hprof' -mtime +1 -delete");
}
}
"我们服务SLA目标是99.99%。同城双活部署,DNS层面做故障切换。Spring Cloud Gateway做限流(Sentinel)和熔断(Resilience4j)。核心接口超时3s + 重试2次(指数退避)。每季度做全链路压测,单季度做混沌演练。变更走灰度发布(1%→10%→100%),有问题秒级回滚。"
答题框架:
1. SLA目标(量化指标)
2. 架构层面(容灾部署)
3. 防护手段(限流/熔断/降级)
4. 验证手段(压测/混沌)
5. 变更管控(灰度/回滚)
多层防护,每层都是最后一道防线:
请求 → 网关层(Nginx令牌桶) → 服务层(Sentinel QPS流控+熔断) → 资源层(DB连接池/线程池)
↓ 拒绝 ↓ 拒绝/排队 ↓ 排队/拒绝
429 Too Many Requests 降级响应 连接超时
# Nginx网关层限流
limit_req_zone $binary_remote_addr zone=api:10m rate=100r/s;
location /api/ {
limit_req zone=api burst=50 nodelay; # 突发50个
limit_req_status 429; # 超限返回429
}
防御链路:入口限流 → 熔断 → 降级 → 超时 → 隔离 → 冗余
正常:A → B → C → D
雪崩:D故障 → C等待(线程耗尽) → B等待 → A等待 → 全部不可用
防御:
1. 入口限流:拒绝多余请求,保护系统
2. 熔断:D故障后C快速失败,不等待
3. 降级:C返回默认值,核心功能保底
4. 超时:B调用C最多3s,超时返回
5. 隔离:调用D用独立线程池,不影响其他调用
6. 冗余:D有备用服务,主故障切备用
// 自愈场景与方案
Map<String, SelfHealAction> healActions = Map.of(
"OOM", () -> { system.restart("app"); }, // 应用OOM → 自动重启
"DISK_FULL", () -> { system.cleanLogs(); }, // 磁盘满 → 自动清理日志
"MQ_BACKLOG", () -> { mq.scaleConsumers(2); }, // 队列积压 → 自动扩容Consumer
"HIGH_ERROR_RATE",() -> { deploy.rollback(); }, // 错误率飙升 → 自动回滚
"THREAD_POOL_FULL",() -> { system.addInstance(); } // 线程池满 → 自动扩容
);
// K8s自愈配置
// livenessProbe失败 → 自动重启Pod
// HPA指标超阈值 → 自动扩缩容
// Pod异常退出 → 自动重建
黄金信号(Google SRE四大信号):
| 信号 | 含义 | 监控指标 |
|---|---|---|
| Latency(延迟) | 请求响应时间 | P50/P90/P99 |
| Traffic(流量) | 请求量 | QPS/TPS |
| Errors(错误) | 错误率 | HTTP 5xx比例 |
| Saturation(饱和度) | 资源利用率 | CPU/内存/连接池 |
告警分级:
P1(电话):核心功能不可用,15min内响应
P2(短信):功能降级,30min内响应
P3(IM): 非紧急异常,4h内处理
告警收敛规则:
- 同一服务5分钟内只告一次
- 同一集群只告一条
- 告警风暴自动聚合
容量规划示例:
历史峰值: 5000 QPS
增长率: 30%/年
目标峰值: 5000 × 1.3 = 6500 QPS
压测容量: 10000 QPS(系统极限)
安全水位: 10000 × 70% = 7000 QPS > 6500 ✓ → 容量充足
| 数据库 | 高可用方案 | 特点 |
|---|---|---|
| MySQL | 主从复制 + MHA/Orchestrator | 自动故障检测 + 秒级切换 |
| Redis | Sentinel + Cluster | 哨兵监控 + 分片集群 |
| ES | 副本分片 | 自动故障转移 + 数据恢复 |
| PostgreSQL | Patroni + etcd | 自动主从切换 |
MySQL高可用:
主库(Master) ──binlog同步──→ 从库1(Standby)
│ │
└──MHA监控──故障检测──VIP切换──┘
主库宕机 → MHA提升从库为主库 → VIP漂移 → 秒级切换
Bulkhead Pattern(舱壁模式):
// Resilience4j舱壁隔离
@Bulkhead(name = "orderService", type = Bulkhead.Type.THREADPOOL)
public Order getOrder(Long id) {
return orderClient.get(id);
}
// 配置独立线程池
resilience4j:
bulkhead:
instances:
orderService:
maxConcurrentCalls: 20 # 最大并发数
maxThreadPoolSize: 20 # 线程池大小
coreThreadPoolSize: 10 # 核心线程数
queueCapacity: 10 # 队列容量
五种防线:超时控制、熔断器、舱壁隔离、限流、降级。
| 业务等级 | SLA目标 | 年停机时间 | 投入 |
|---|---|---|---|
| 核心支付 | 99.99% | 52.6min | 同城双活+多级冗余 |
| 普通服务 | 99.9% | 8.76h | 主从+自动切换 |
| 内部工具 | 99% | 3.65天 | 单机+备份 |
高可用三原则:消除单点(冗余)、快速失败(超时+熔断)、优雅降级(核心保底)
>
限流四算法:固定窗口、滑动窗口、漏桶、令牌桶
>
熔断三状态:Closed → Open → Half-Open
>
稳定性四实践:全链路压测、混沌工程、灰度发布、故障复盘
>
黄金四信号:延迟(Latency)、流量(Traffic)、错误(Errors)、饱和度(Saturation)
>
容灾五阶段:主备 → 热备 → 同城双活 → 异地双活 → 异地多活