← 返回首页 ❓ 面试题库
📑 本篇章节导航 (共10章,点击直达)
一、高可用设计原则二、限流熔断降级三、超时与重试四、全链路压测五、混沌工程六、容灾与多活七、变更管理八、SRE实践九、面试高频综合题面试速记口诀

Q114 系统稳定性与高可用架构实战

20K Java+AI 岗位2025-2026高频考点 — 系统稳定性是架构师的必修课。覆盖高可用设计原则、限流熔断降级、全链路压测、混沌工程、容灾多活、变更管理、SRE实践、故障复盘。

一、高可用设计原则

1. 高可用的衡量指标?


SLA等级对照:
99.9%   → 8小时45分/年    → 常规业务可接受
99.99%  → 52分36秒/年     → 核心交易系统
99.999% → 5分15秒/年      → 金融/电信级

2. 高可用设计的核心原则?

3. RTO vs RPO?

指标全称含义方向
RTORecovery Time Objective恢复时间目标(多久恢复)越短→恢复越快
RPORecovery Point Objective恢复点目标(丢失多少数据)越短→数据丢失越少

4. 面向失败设计?


// 面向失败设计的代码体现:每个外部调用都有兜底
@CircuitBreaker(name = "userService", fallbackMethod = "getUserFallback")
@Timeout(value = 3, unit = ChronoUnit.SECONDS)
public User getUser(Long userId) {
    return userClient.get(userId);
}
private User getUserFallback(Long userId, Exception e) {
    return User.defaultUser(userId);  // 返回兜底数据
}

二、限流熔断降级

5. 限流的算法?

算法原理特点适用场景
固定窗口时间段内计数简单但有临界突刺低精度场景
滑动窗口时间段滑动计数平滑但内存开销高中等精度
漏桶匀速流出请求流量整形,匀速处理流量整形
令牌桶匀速生成令牌允许突发流量API限流
滑动日志记录每个请求时间戳精确但耗内存高精度场景

6. Sentinel限流实战?


// 规则配置
FlowRule rule = new FlowRule("orderService")
    .setCount(100)          // QPS阈值
    .setGrade(RuleConstant.FLOW_GRADE_QPS)
    .setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_WARM_UP)  // 预热模式
    .setWarmUpPeriodSec(10);
FlowRuleManager.loadRules(List.of(rule));

// 代码中使用
try (Entry entry = SphU.entry("orderService")) {
    return orderService.create(request);
} catch (BlockException e) {
    return ApiResponse.error(429, "系统繁忙,请稍后重试");
}

Sentinel核心能力:流控(QPS/线程数)、熔断(慢调用/异常比例/异常数)、热点参数限流、系统自适应保护。

7. 熔断器的三种状态?


请求成功 → [Closed] ──失败率>阈值──→ [Open] ──超时──→ [Half-Open]
              ↑                                              │
              └──────试探成功──────────────────────────试探失败─┘
                                                         ↓
                                                       [Open]

8. Resilience4j熔断配置?


resilience4j:
  circuitbreaker:
    instances:
      orderService:
        slidingWindowSize: 10           # 滑动窗口大小
        failureRateThreshold: 50        # 失败率阈值%
        waitDurationInOpenState: 30s    # Open状态等待时间
        permittedNumberOfCallsInHalfOpenState: 5  # 半开状态试探次数
        slowCallDurationThreshold: 3s   # 慢调用阈值
        slowCallRateThreshold: 80       # 慢调用率阈值%

Java使用:


CircuitBreakerConfig config = CircuitBreakerConfig.custom()
    .failureRateThreshold(50)
    .waitDurationInOpenState(Duration.ofSeconds(30))
    .slidingWindowSize(10)
    .build();
CircuitBreaker cb = CircuitBreaker.of("orderService", config);

9. 降级策略有哪些?

核心原则:核心链路(下单/支付)不降级,非核心链路(推荐/评论)可牺牲。

10. 如何实现优雅降级?


@CircuitBreaker(name = "paymentService", fallbackMethod = "fallback")
public PaymentResult pay(Order order) {
    return paymentClient.pay(order);
}

private PaymentResult fallback(Order order, Exception e) {
    // 降级方案:记录到本地表,后台任务补偿
    log.warn("支付服务降级,订单{}进入待支付队列", order.getId());
    pendingPaymentService.save(order);
    return PaymentResult.pending(order.getId());
}

// 降级策略选择
public Result getRecommendations(Long userId) {
    try {
        return recommendationService.get(userId);   // 优先AI推荐
    } catch (Exception e) {
        return hotItemCache.getTop100();             // 降级为热门列表
    }
}

三、超时与重试

11. 超时时间怎么设?


超时漏斗示例:
网关层(30s) → 服务A(10s) → 服务B(5s) → DB(3s)
              ↑              ↑            ↑
           含重试时间      含重试时间    单次查询

12. 重试的注意事项?

13. 重试配置实战?


@Retryable(
    value = {ServiceException.class},       // 可重试的异常
    maxAttempts = 3,                         // 最大尝试次数(含首次)
    backoff = @Backoff(
        delay = 1000,                        // 初始延迟1s
        multiplier = 2,                      // 指数倍数
        maxDelay = 5000                      // 最大延迟5s
    )
)
public Order getOrder(Long id) {
    return orderClient.get(id);
}

@Recover
public Order recover(ServiceException e, Long id) {
    log.warn("重试耗尽,降级查询缓存, orderId={}", id);
    return orderCacheService.get(id);  // 重试耗尽后降级
}

四、全链路压测

14. 什么是全链路压测?

15. 全链路压测的核心挑战?

挑战说明解决方案
数据隔离压测数据不影响真实数据影子库/影子表
流量染色压测请求全链路标记HTTP Header透传
环境隔离压测路由到影子资源中间件识别染色标记
零侵入不改业务代码Agent/插件方式

16. 流量染色方案?


染色链路:
压测发起 → HTTP Header: X-Pressure-Test: true
         → OpenTelemetry Baggage / MDC 全链路透传
         → 各中间件识别染色标记
         → 路由到影子资源(影子表/影子Redis/影子MQ)

// Filter层标记染色
@Component
public class PressureTestFilter implements Filter {
    @Override
    public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) {
        HttpServletRequest httpReq = (HttpServletRequest) req;
        String ptFlag = httpReq.getHeader("X-Pressure-Test");
        if ("true".equals(ptFlag)) {
            PressureTestContext.mark();  // ThreadLocal标记
            MDC.put("pt", "true");
        }
        chain.doFilter(req, res);
        PressureTestContext.clear();
    }
}

17. 影子库/影子表方案?


-- 压测数据写入影子表,不影响真实数据
-- 真实表:orders
-- 影子表:orders_pt

-- MyBatis插件根据染色标记自动切换表名

// MyBatis拦截器:自动替换表名
@Intercepts(@Signature(type = StatementHandler.class, method = "prepare"))
public class ShadowTableInterceptor implements Interceptor {
    @Override
    public Object intercept(Invocation inv) throws Throwable {
        if (PressureTestContext.isMarked()) {
            // SQL中 orders → orders_pt
            // SQL中 users → users_pt
        }
        return inv.proceed();
    }
}

// Redis使用独立key前缀
String realKey = "user:123";
String ptKey   = "pt:user:123";

18. 如何设计压测方案?

1. 梳理核心链路:确定压测的业务流程(首页→搜索→加购→下单→支付)

2. 录制真实流量:复制线上真实请求作为压测模型

3. 构造压测数据:生成隔离的压测用户、商品、订单数据

4. 逐步加压:10% → 30% → 50% → 80% → 100% → 120%(超额验证)

5. 监控全链路指标:QPS、延迟、错误率、CPU、内存、GC、DB慢SQL

6. 定位瓶颈:找到最先达到瓶颈的组件

7. 优化后复测:验证优化效果

19. 压测结果分析?


关键指标:
├── QPS曲线:是否线性增长?拐点在哪?
├── 延迟分布:P50/P90/P99是否达标?
├── 错误率拐点:从哪个QPS开始错误率飙升?
├── 资源瓶颈:CPU>80%? GC频繁? DB慢SQL? MQ积压?
└── 容量水位线:安全水位 = 压测峰值 × 70%

输出报告示例:
| 指标 | 当前 | 目标 | 瓶颈组件 |
| QPS | 5000 | 8000 | DB连接池 |
| P99延迟 | 200ms | 100ms | Redis超时 |
| 错误率 | 0.1% | <0.01% | 无 |

五、混沌工程

20. 什么是混沌工程?

"Chaos Engineering is the discipline of experimenting on a system in order to build confidence in the system's capability to withstand turbulent conditions." — principlesofchaos.org

21. 混沌工程的实验流程?

1. 定义稳态假设:系统正常行为的度量(如P99 < 200ms,错误率 < 0.1%)

2. 引入真实世界事件:杀进程、断网络、加延迟、磁盘满

3. 观察系统是否偏离稳态:监控指标是否恶化

4. 改进系统:修复发现的弱点,加固防护


稳态假设 → 注入故障 → 观察偏差 → 改进系统 → 再次验证
   ↑                                        │
   └────────────────────────────────────────┘

22. ChaosBlade实战?


# 注入CPU满载
blade create cpu load --cpu-percent 80 --timeout 60

# 注入网络延迟(模拟DB延迟3s)
blade create network delay --time 3000 --interface eth0 --remote-port 3306

# 注入Java方法异常
blade create jvm throwCustomException \
  --classname com.example.OrderService \
  --methodname createOrder \
  --exception "java.lang.RuntimeException: chaos test"

# 注入MySQL慢查询
blade create mysql delay --time 3000 --port 3306

# 恢复(销毁实验)
blade destroy <uid>

23. 混沌实验的场景?

层级场景工具
基础设施机器宕机、磁盘满、网络分区ChaosBlade、Chaos Mesh
应用层线程池满、OOM、进程被杀ChaosBlade JVM
中间件DB慢查询、Redis超时、MQ延迟ChaosBlade MySQL/Redis
依赖层第三方API不可用、DNS故障WireMock、Toxiproxy

24. 如何在企业落地混沌工程?

1. 搭建混沌平台:基于ChaosBlade/Chaos Mesh,提供可视化操作界面

2. 与CI/CD集成:每次发布前自动执行故障演练

3. 定义稳态指标:明确系统正常运行时的度量

4. 从小范围开始:先在非核心服务演练,积累经验

5. 建立故障库:记录历史故障场景,定期回放验证

6. 复盘改进:每个实验结果都要有改进措施

25. 混沌工程的成熟度模型?

Level阶段特征
Level 1手动注入人工执行故障注入,手动观察
Level 2自动化演练CI/CD集成,自动故障演练
Level 3持续混沌Gameday定期演练,全场景覆盖
Level 4混沌即常态生产环境持续运行,故障自愈

六、容灾与多活

26. 容灾架构的演进?


主备(冷备) → 主备(热备) → 同城双活 → 异地双活 → 异地多活
RTO:小时级     分钟级       秒级        分钟级       秒级
RPO:小时级     分钟级       ≈0         分钟级       秒级
成本:低         中           中高        高           极高

27. 同城双活架构?


         ┌─ 机房A ──────────────┐
用户 ──DNS──┤ 服务实例(50%流量)  ├──┐
         │  DB主库 ←─────┐    │  │
         └───────────────┼────┘  │
         ┌─ 机房B ───────┼────┐  │
         │ 服务实例(50%流量) │  │
         │  DB从库(同步复制) │──┘
         └───────────────────┘

28. 异地多活架构?


北京机房 ←──数据同步──→ 上海机房 ←──数据同步──→ 深圳机房
   │                       │                        │
 用户(华北)              用户(华东)               用户(华南)

29. 多活架构的数据同步?

数据类型同步工具特点
MySQLCanal / Debeziumbinlog解析,准实时
RedisRedis-shake支持跨版本同步
MQ集群间复制异步,可能有延迟
ESCross-Cluster Replication索引级同步

30. 单元化架构?


// 单元路由规则
public String getUnitId(Long userId) {
    int unitCount = 4;  // 4个单元
    return "unit_" + (userId % unitCount);
}

// 请求路由拦截
public class UnitRouterInterceptor implements HandlerInterceptor {
    @Override
    public boolean preHandle(HttpServletRequest req, ...) {
        Long userId = extractUserId(req);
        String targetUnit = unitRouter.getUnitId(userId);
        if (!currentUnit.equals(targetUnit)) {
            // 转发到目标单元
            forwardToUnit(targetUnit, req);
            return false;
        }
        return true;
    }
}

31. 容灾切换方案?

切换方式耗时适用场景
DNS切换分钟级机房级故障,全局切换
Nginx upstream切换秒级服务级故障,部分切换
数据库主从切换秒级 + VIPDB主库故障
K8s Pod迁移秒级节点故障

七、变更管理

32. 灰度发布策略?

策略原理特点
金丝雀发布1%→10%→50%→100%渐进式,风险最小
蓝绿部署两套环境切换瞬间切换,回滚快
滚动更新K8s RollingUpdate逐个替换,零停机

金丝雀发布流程:
v2发布到1%流量 → 监控5min → 无异常 → 扩到10%
    → 监控10min → 无异常 → 扩到50% → 监控30min → 全量
    → 任何阶段异常 → 秒级回滚到v1

33. Feature Flag实战?


// 基于Togglz的Feature Flag
public enum Features implements Feature {
    @EnabledByDefault
    @Label("新版推荐算法")
    NEW_RECOMMENDATION,
    
    @DisabledByDefault
    @Label("AI客服功能")
    AI_CUSTOMER_SERVICE;
}

// 业务代码中使用
@GetMapping("/recommend")
public List<Item> recommend(Long userId) {
    if (Features.NEW_RECOMMENDATION.isActive()) {
        return aiRecommendService.get(userId);   // 新算法
    }
    return hotItemService.getTop100();            // 旧算法
}

// 运维API秒级关闭
// POST /togglz/manage/disable?feature=NEW_RECOMMENDATION

优势:出问题秒级关闭,比代码回滚更快。新功能默认关闭,灰度开启。

34. 变更风险评估?


变更分级:
P0(高危):数据库DDL、核心链路改动、多服务联动 → 需变更委员会审批
P1(中危):单服务功能变更、配置修改 → 需TL审批
P2(低危):文案修改、样式调整 → 自行发布

35. 如何做到零停机部署?


# K8s零停机部署配置
spec:
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1         # 滚动更新时多启动1个Pod
      maxUnavailable: 0   # 不允许有Pod不可用

  # 优雅停机
  terminationGracePeriodSeconds: 60

  containers:
  - name: app
    readinessProbe:       # 就绪探针:流量排空
      httpGet:
        path: /actuator/health/readiness
        port: 8080
      initialDelaySeconds: 10
    livenessProbe:        # 存活探针:自动重启
      httpGet:
        path: /actuator/health/liveness
        port: 8080
      initialDelaySeconds: 30

# Spring Boot优雅停机
server:
  shutdown: graceful       # 优雅停机
spring:
  lifecycle:
    timeout-per-shutdown-phase: 30s  # 最长等待30s

八、SRE实践

36. SRE的核心实践?

实践说明
SLO/SLI/SLA定义服务质量目标、指标、协议
Error Budget错误预算管理,平衡稳定性与迭代速度
On-Call轮值机制,确保7×24小时响应
事故响应标准化的事故处理流程
Post-Mortem无责复盘,持续改进
消除Toil自动化重复性运维工作

37. Error Budget怎么用?


Error Budget计算示例:
SLO: 99.9%
月度总分钟数: 43200min
允许停机: 43200 × 0.1% = 43.2min

已用: 25min → 剩余18.2min → 可以继续发布
已用: 43.2min → 预算耗尽 → 冻结发布

38. On-Call最佳实践?


# Runbook模板:订单服务P99延迟飙升
## 现象:订单接口P99 > 500ms
## 排查步骤:
1. 检查监控:是否某台机器异常 → 下线异常节点
2. 检查DB:是否有慢SQL → kill慢查询
3. 检查Redis:是否连接池满 → 扩容或重启
4. 检查MQ:是否消费延迟 → 增加Consumer
5. 以上都正常 → 查最近变更 → 回滚可疑变更

39. 事故复盘(Post-Mortem)模板?


# 事故复盘报告
## 基本信息
- 事故时间:2025-06-04 14:00 ~ 14:45(持续45分钟)
- 影响范围:下单功能不可用,影响约10万用户
- 严重等级:P1

## 时间线
- 14:00 告警触发:订单服务错误率 > 5%
- 14:05 On-Call确认,开始排查
- 14:15 定位原因:数据库连接池耗尽
- 14:30 执行修复:扩容连接池 + 重启服务
- 14:45 服务恢复,确认指标正常

## 根因分析(5 Whys)
- 为什么下单失败?→ DB连接池耗尽
- 为什么连接池耗尽?→ 慢查询占用连接
- 为什么有慢查询?→ 新索引未生效,全表扫描
- 为什么索引未生效?→ 发布时漏执行DDL
- 为什么漏执行?→ 发布流程缺少DDL检查

## 改进措施
| 措施 | 负责人 | 截止日期 |
|------|--------|---------|
| 发布流程增加DDL检查 | 张三 | 6/11 |
| 连接池监控告警完善 | 李四 | 6/11 |
| 慢查询自动kill机制 | 王五 | 6/18 |

40. 如何消除运维Toil?


// 自愈脚本示例:磁盘使用率 > 85% 自动清理
@Scheduled(fixedRate = 300000)  // 每5分钟检查
public void diskAutoClean() {
    double usage = diskMonitor.getUsage("/data/logs");
    if (usage > 85) {
        log.warn("磁盘使用率{}%,开始自动清理", usage);
        // 1. 清理7天前的日志
        cmdExecutor.execute("find /data/logs -mtime +7 -delete");
        // 2. 压缩3天前的日志
        cmdExecutor.execute("find /data/logs -mtime +3 -name '*.log' -exec gzip {} \\;");
        // 3. 清理dump文件
        cmdExecutor.execute("find /data -name '*.hprof' -mtime +1 -delete");
    }
}

九、面试高频综合题

41. 如何回答"你们的高可用架构"?

"我们服务SLA目标是99.99%。同城双活部署,DNS层面做故障切换。Spring Cloud Gateway做限流(Sentinel)和熔断(Resilience4j)。核心接口超时3s + 重试2次(指数退避)。每季度做全链路压测,单季度做混沌演练。变更走灰度发布(1%→10%→100%),有问题秒级回滚。"

答题框架:

1. SLA目标(量化指标)

2. 架构层面(容灾部署)

3. 防护手段(限流/熔断/降级)

4. 验证手段(压测/混沌)

5. 变更管控(灰度/回滚)

42. 如何设计一个限流系统?

多层防护,每层都是最后一道防线:


请求 → 网关层(Nginx令牌桶) → 服务层(Sentinel QPS流控+熔断) → 资源层(DB连接池/线程池)
         ↓ 拒绝                ↓ 拒绝/排队                       ↓ 排队/拒绝
       429 Too Many Requests  降级响应                          连接超时

# Nginx网关层限流
limit_req_zone $binary_remote_addr zone=api:10m rate=100r/s;
location /api/ {
    limit_req zone=api burst=50 nodelay;   # 突发50个
    limit_req_status 429;                    # 超限返回429
}

43. 系统雪崩怎么防?

防御链路:入口限流 → 熔断 → 降级 → 超时 → 隔离 → 冗余


正常:A → B → C → D
雪崩:D故障 → C等待(线程耗尽) → B等待 → A等待 → 全部不可用

防御:
1. 入口限流:拒绝多余请求,保护系统
2. 熔断:D故障后C快速失败,不等待
3. 降级:C返回默认值,核心功能保底
4. 超时:B调用C最多3s,超时返回
5. 隔离:调用D用独立线程池,不影响其他调用
6. 冗余:D有备用服务,主故障切备用

44. 如何实现自愈系统?


// 自愈场景与方案
Map<String, SelfHealAction> healActions = Map.of(
    "OOM",           () -> { system.restart("app"); },         // 应用OOM → 自动重启
    "DISK_FULL",     () -> { system.cleanLogs(); },            // 磁盘满 → 自动清理日志
    "MQ_BACKLOG",    () -> { mq.scaleConsumers(2); },          // 队列积压 → 自动扩容Consumer
    "HIGH_ERROR_RATE",() -> { deploy.rollback(); },            // 错误率飙升 → 自动回滚
    "THREAD_POOL_FULL",() -> { system.addInstance(); }         // 线程池满 → 自动扩容
);

// K8s自愈配置
// livenessProbe失败 → 自动重启Pod
// HPA指标超阈值 → 自动扩缩容
// Pod异常退出 → 自动重建

45. 监控告警体系设计?

黄金信号(Google SRE四大信号):

信号含义监控指标
Latency(延迟)请求响应时间P50/P90/P99
Traffic(流量)请求量QPS/TPS
Errors(错误)错误率HTTP 5xx比例
Saturation(饱和度)资源利用率CPU/内存/连接池

告警分级:
P1(电话):核心功能不可用,15min内响应
P2(短信):功能降级,30min内响应
P3(IM):  非紧急异常,4h内处理

告警收敛规则:
- 同一服务5分钟内只告一次
- 同一集群只告一条
- 告警风暴自动聚合

46. 如何做容量规划?


容量规划示例:
历史峰值: 5000 QPS
增长率: 30%/年
目标峰值: 5000 × 1.3 = 6500 QPS
压测容量: 10000 QPS(系统极限)
安全水位: 10000 × 70% = 7000 QPS > 6500 ✓ → 容量充足

47. 数据库高可用方案?

数据库高可用方案特点
MySQL主从复制 + MHA/Orchestrator自动故障检测 + 秒级切换
RedisSentinel + Cluster哨兵监控 + 分片集群
ES副本分片自动故障转移 + 数据恢复
PostgreSQLPatroni + etcd自动主从切换

MySQL高可用:
主库(Master) ──binlog同步──→ 从库1(Standby)
    │                           │
    └──MHA监控──故障检测──VIP切换──┘
    主库宕机 → MHA提升从库为主库 → VIP漂移 → 秒级切换

48. 如何防止级联故障?

Bulkhead Pattern(舱壁模式):


// Resilience4j舱壁隔离
@Bulkhead(name = "orderService", type = Bulkhead.Type.THREADPOOL)
public Order getOrder(Long id) {
    return orderClient.get(id);
}

// 配置独立线程池
resilience4j:
  bulkhead:
    instances:
      orderService:
        maxConcurrentCalls: 20       # 最大并发数
        maxThreadPoolSize: 20        # 线程池大小
        coreThreadPoolSize: 10       # 核心线程数
        queueCapacity: 10            # 队列容量

五种防线:超时控制、熔断器、舱壁隔离、限流、降级。

49. 高可用的成本平衡?

业务等级SLA目标年停机时间投入
核心支付99.99%52.6min同城双活+多级冗余
普通服务99.9%8.76h主从+自动切换
内部工具99%3.65天单机+备份

50. 如何建立稳定性文化?


面试速记口诀

高可用三原则:消除单点(冗余)、快速失败(超时+熔断)、优雅降级(核心保底)

>

限流四算法:固定窗口、滑动窗口、漏桶、令牌桶

>

熔断三状态:Closed → Open → Half-Open

>

稳定性四实践:全链路压测、混沌工程、灰度发布、故障复盘

>

黄金四信号:延迟(Latency)、流量(Traffic)、错误(Errors)、饱和度(Saturation)

>

容灾五阶段:主备 → 热备 → 同城双活 → 异地双活 → 异地多活