Q90 - 线上故障排查与项目实战场景题
共50道题 | 难度分布:★★★★★平均 | 20K+ Java高级开发/SRE岗位必考
一、CPU问题排查(1-10)
线上CPU 100%如何排查?完整步骤?
★★★★★
1. top 找到CPU最高的Java进程PID。
2. top -Hp <PID> 找到CPU最高的线程TID。
3. printf '%x\n' <TID> 将TID转为十六进制(如0x1a2b)。
4. jstack <PID> > thread_dump.txt 导出线程栈。
5. 在dump中搜索nid=0x1a2b,定位线程代码。
thread -n 3 # 显示CPU最高的3个线程
thread <thread-id> # 查看指定线程栈
- 常见原因:
- 死循环(代码Bug)。
- 正则回溯(ReDoS,如
(a+)+匹配长字符串)。
- 频繁Full GC。
- 加密/序列化等CPU密集型操作。
频繁Full GC如何排查?
★★★★★
1. jstat -gcutil <PID> 1000 10:观察各代内存和GC频率。
2. jstat -gccause <PID>:查看GC原因。
3. jmap -histo:live <PID> | head -20:查看存活对象统计。
4. -XX:+PrintGCDetails -Xlog:gc*:file=gc.log:分析GC日志。
- 常见原因:
- 内存泄漏(老年代持续增长)。
- 大对象直接进老年代(超过PretenureSizeThreshold)。
- System.gc()被调用(建议-XX:+DisableExplicitGC)。
- 元空间不足(动态代理/CGLIB生成大量类)。
- 面试要点:区分是Young GC频繁还是Full GC频繁,原因完全不同。
如何排查死循环?
★★★★☆
- 现象:CPU某个核心持续100%,线程栈停留在循环代码处。
- 排查:
1. top -Hp找到高CPU线程。
2. jstack查看线程栈 → 定位到具体代码行。
3. 检查循环条件是否可能永远为true。
- 常见场景:
- while(flag)中flag未正确更新(多线程可见性问题)。
- Iterator并发修改导致死循环(HashMap多线程put)。
- 自旋锁不释放。
如何排查正则ReDoS?
★★★★☆
- 现象:CPU 100%,线程栈停在Pattern.match()。
- 危险正则模式:嵌套量词
(a+)+、交替重叠(a|a)+。
- 排查:jstack看到线程栈在java.util.regex.Pattern相关方法。
- 解决:
- 使用原子组
(?>a+)。
- 添加长度限制。
- 使用预编译Pattern + 超时机制。
- 面试要点:对外部输入的正则必须加长度限制。
CPU上下文切换高如何排查?
★★★★☆
- 指标:
vmstat 1中的cs(context switch)列。超过100万/秒需要关注。
- 排查:
1. pidstat -w -p <PID> 1:查看进程级上下文切换。
2. pidstat -wt -p <PID> 1:查看线程级上下文切换。
3. 找到切换最高的线程→jstack定位。
- 常见原因:
- 线程数过多(大量线程争抢CPU)。
- 锁竞争(线程频繁阻塞/唤醒)。
- IO阻塞(线程频繁等待IO)。
- 面试要点:减少线程数(异步IO/虚拟线程)、减少锁竞争(无锁/分段锁)。
如何排查线程死锁?
★★★★★
- jstack:在输出底部会显示"Found one Java-level deadlock"。
- Arthas:
thread -b 查看阻塞线程。
- VisualVM/JConsole:图形化检测死锁。
- 预防:
- 固定加锁顺序。
- tryLock(timeout)超时机制。
- 避免嵌套锁。
- 面试要点:死锁是面试必问题,要能说出完整排查和预防方案。
Arthas的核心命令?
★★★★★
- 诊断命令:
thread -n 3:CPU最高的3个线程。
thread -b:死锁检测。
thread --state BLOCKED:查看阻塞线程。
dashboard:实时面板(CPU/内存/GC/线程)。
jad 类名:反编译指定类。
watch 方法名 "{params,returnObj}" -x 2:观察方法参数和返回值。
trace 方法名:追踪方法调用链和耗时。
stack 方法名:查看方法调用栈。
sc -d 类名:查看已加载的类信息。
logger --name ROOT --level debug:动态修改日志级别。
heapdump /tmp/dump.hprof:导出堆转储。
- 面试要点:Arthas是线上排查的神器,掌握核心命令是加分项。
Java Flight Recorder(JFR)的用法?
★★★★☆
- JFR:JVM内置的低开销(<2%)持续监控工具。
- 启动:
-XX:StartFlightRecording=duration=60s,filename=recording.jfr。
- jcmd:
jcmd <PID> JFR.start duration=60s filename=recording.jfr。
- 分析:JDK Mission Control(JMC)打开.jfr文件。
- 关注事件:
- CPU profiling(方法热点)。
- GC事件(停顿时间)。
- Thread statistics(线程阻塞)。
- IO事件(文件/网络延迟)。
- 面试要点:JFR是生产安全的性能分析工具。
如何排查应用启动慢?
★★★★☆
1. /actuator/startup(Spring Boot 2.6+):查看启动各阶段耗时。
2. ApplicationStartup自定义记录。
3. JFR录制启动过程。
- 常见原因:
- Bean初始化耗时(数据库连接池、HTTP客户端)。
- 组件扫描范围过大。
- @PostConstruct中执行耗时操作。
- 自动配置加载过多。
- 优化:懒加载、异步初始化、精简Starter。
如何排查请求延迟高?
★★★★★
- 端到端延迟分解:
- 客户端→Nginx:
curl -w "DNS: %{time_namelookup}\nConnect: %{time_connect}\nTTFB: %{time_starttransfer}\nTotal: %{time_total}\n"。
- Nginx→应用:access_log中$request_time vs $upstream_response_time。
- 应用内部:SkyWalking/Jaeger链路追踪。
- 数据库:慢查询日志。
- 常见瓶颈:
- 数据库慢查询(缺索引/锁等待)。
- 外部API调用慢(超时未设)。
- GC停顿(观察GC日志)。
- 锁竞争(Arthas trace)。
- 面试要点:按层分解延迟,逐段排查。
二、内存问题排查(11-20)
OOM如何排查?完整流程?
★★★★★
- 提前配置:
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/dump.hprof。
- 排查步骤:
1. 获取堆转储文件(自动生成或jmap -dump)。
2. MAT(Memory Analyzer Tool)分析。
3. 查看Leak Suspects(泄漏嫌疑)。
4. Dominator Tree查看占用最大的对象。
5. 查看GC Roots引用链,找到泄漏根因。
- OOM类型:
- Java heap space:堆内存不足。→ 增大堆或修复泄漏。
- Metaspace:类加载太多。→ 增大Metaspace或检查动态代理。
- Direct buffer memory:堆外内存不足。→ -XX:MaxDirectMemorySize。
- GC overhead limit exceeded:GC回收效率低。→ 堆不够。
- Unable to create new native thread:线程数超限。→ 减少线程或ulimit -u。
- 面试要点:MAT是分析OOM的核心工具。
内存泄漏的常见场景?
★★★★★
- ThreadLocal未remove:线程池复用→ThreadLocal值残留。
- 静态集合持续增长:static List/Map不断add。
- 资源未关闭:Connection/Stream/Channel未close。
- 监听器未注销:注册后未取消注册。
- 内部类持有外部类:非静态内部类/匿名内部类引用外部类实例。
- 缓存无上限:Map-based缓存没有淘汰策略。
- 最终引用(Finalizer):finalize()方法导致对象延迟回收。
- 面试要点:ThreadLocal泄漏是最常被问的内存泄漏场景。
如何排查Metaspace OOM?
★★★★☆
- 现象:java.lang.OutOfMemoryError: Metaspace。
- 原因:
- CGLIB/Javassist动态生成大量类。
- Groovy/SpEL动态脚本。
- ClassLoader泄漏(热部署不释放旧ClassLoader)。
- 排查:
jstat -gcmetacapacity <PID>:查看Metaspace使用趋势。
jmap -histo <PID> | grep class:查看类数量。
- Arthas
classloader -t:查看ClassLoader树。
-XX:MaxMetaspaceSize=512m:限制Metaspace大小。
- 面试要点:Metaspace在本地内存(不受-Xmx限制),需要单独配置。
如何排查堆外内存泄漏?
★★★★☆
- 场景:DirectByteBuffer/NIO/Netty的ByteBuf未释放。
- 排查:
jcmd <PID> VM.native_memory summary(需开启-XX:NativeMemoryTracking=summary)。
- pmap -x <PID>:查看进程内存映射。
- Netty:开启-Dio.netty.leakDetection.level=ADVANCED。
- 常见原因:
- ByteBuf未release(Netty引用计数泄漏)。
- DirectByteBuffer未清理。
- JNI native内存泄漏。
- 面试要点:Netty的ByteBuf泄漏是最常见的堆外内存问题。
如何分析GC日志?
★★★★★
[Pause Young (G1 Evacuation Pause), 0.0234567 secs]
[Eden: 256.0M(256.0M)->0.0B(230.0M) Survivors: 0.0B->26.0M Heap: 256.0M(512.0M)->23.5M(512.0M)]
[Times: user=0.08 sys=0.01, real=0.02 secs]
- 关注指标:
- Pause时间:Young GC停顿。期望<50ms。
- GC频率:Young GC间隔。太频繁→Eden太小。
- 堆使用率:GC前后对比。GC后仍高→容量不足。
- Mixed GC频率:Old区回收情况。
- 工具:GCEasy.io、GCViewer。
- 面试要点:GC调优目标是降低停顿时间,不是消除GC。
如何排查大对象(Big Object)问题?
★★★★☆
- 现象:频繁Full GC、老年代快速增长。
- 排查:
jmap -histo <PID> | head -30:查看对象大小统计。
- MAT的Dominator Tree:查看占用最大的对象。
- Arthas
heapdump + MAT分析。
- 常见大对象:
- 大数组/集合(一次查询全部数据)。
- 大文件内容读入内存。
- 大JSON/XML字符串。
- 解决:分页查询、流式处理、限制查询条数。
如何排查内存使用持续增长但无OOM?
★★★★☆
1. jstat -gcutil <PID> 5000:观察各代内存趋势。
2. 如果Old区持续增长→可能有内存泄漏。
3. jmap -histo:live <PID> 在两个时间点对比对象数变化。
4. 增长的对象类型→定位泄漏代码。
- 工具:JProfiler/YourKit持续监控。
- 面试要点:即使没有OOM,内存持续增长也是隐患。
如何排查Young GC过于频繁?
★★★★☆
- 现象:每秒多次Young GC,应用吞吐量下降。
- 原因:
- Eden区太小→对象很快填满→频繁GC。
- 对象过早晋升到Old区(Survivor太小)。
- 解决:
- 增大Young区:
-XX:NewRatio=2(Young:Old=1:2)。
- 增大Survivor:
-XX:SurvivorRatio=8。
- 使用G1/ZGC替代CMS。
- 面试要点:G1自适应调整Region大小,通常不需要手动调。
如何排查Full GC停顿时间长?
★★★★☆
- CMS Full GC(已弃用):Concurrent Mode Failure → Serial Old(全堆扫描)。
- G1 Full GC:单线程Serial Full GC(JDK 12+多线程)。
- 排查:
- GC日志中的Full GC原因。
-XX:+PrintGCDetails + -XX:+PrintGCDateStamps。
- 优化:
- 增大堆内存。
- 切换到ZGC(停顿<1ms)。
- 减少大对象分配。
- 避免System.gc()。
如何排查容器中的内存问题?
★★★★★
- 容器OOM Killed:容器内存超限→被K8s/Docker杀掉。
- dmesg | grep oom-killer:查看OS级OOM。
- K8s:kubectl describe pod → Last State: OOMKilled。
- JVM与容器内存:
- JDK 10+:-XX:MaxRAMPercentage=75.0(推荐)。
- 容器limits = JVM堆 + 非堆 + overhead(约25%)。
- 例:limits 2Gi → -XX:MaxRAMPercentage=75.0 → 堆约1.5G。
- 面试要点:容器OOM和JVM OOM是两回事。JVM OOM抛异常,容器OOM直接杀进程。
三、数据库问题排查(21-30)
如何排查慢SQL?
★★★★★
- MySQL慢查询日志:
slow_query_log=ON, long_query_time=1。
- EXPLAIN分析:
- type:ALL(全表扫描) → index(索引扫描) → range(范围) → ref(索引查找) → const(唯一查找)。
- key:实际使用的索引。
- rows:预估扫描行数。
- Extra:Using filesort(额外排序)、Using temporary(临时表)、Using index(覆盖索引)。
- 常见优化:
- 添加索引(选择性高的列)。
- 避免SELECT *。
- 避免在索引列上使用函数。
- 避免隐式类型转换。
- 面试要点:EXPLAIN是排查慢SQL的第一步。
如何排查MySQL死锁?
★★★★★
- 查看:
SHOW ENGINE INNODB STATUS的LATEST DETECTED DEADLOCK部分。
- 死锁信息包含:两个事务的ID、持有的锁、等待的锁、SQL语句。
- 常见场景:
- 两个事务以不同顺序更新同一组行。
- Gap Lock与Insert冲突。
- 唯一索引冲突导致的死锁。
- 解决:
- 固定更新顺序(按ID排序)。
- 减小事务范围(短事务)。
- 添加重试机制(catch DeadlockLoserDataAccessException重试)。
如何排查数据库连接池耗尽?
★★★★★
- 现象:应用报"Connection is not available, request timed out"。
- 排查:
1. HikariCP:HikariPoolMXBean查看activeConnections/idleConnections。
2. SHOW PROCESSLIST:查看数据库当前连接。
3. SHOW STATUS LIKE 'Threads_connected':当前连接数。
- 常见原因:
- 连接泄漏(忘记关闭)。
- 慢查询占用连接。
- 连接池配置太小。
- 事务未提交/回滚。
- 解决:
- leakDetectionThreshold=60000(HikariCP连接泄漏检测)。
- 增大连接池。
- 优化慢查询。
如何排查MySQL主从延迟?
★★★★☆
- 查看延迟:
SHOW SLAVE STATUS的Seconds_Behind_Master。
- 原因:
- 主库大事务(批量UPDATE/DELETE百万行)。
- 从库配置低。
- 单线程复制(MySQL 5.6之前)。
- 网络延迟。
- 解决:
- 开启并行复制(slave_parallel_workers=4)。
- 从库升级配置。
- 避免大事务。
- 半同步复制。
如何设计分库分表方案?
★★★★★
1. 评估数据量:单表超过1000万行或单库超过500GB考虑分片。
2. 选择分片键:高频查询字段(user_id/order_id)。
3. 分片策略:Hash取模(均匀)/ 范围分片(时间)。
4. 分片数量:预估3-5年数据量 / 单表500万。
- 落地:
- 中间件:ShardingSphere-JDBC。
- 全局ID:雪花算法。
- 数据迁移:双写→历史迁移→一致性校验→切读→切写。
- 难点:跨库Join、跨库事务、跨库分页、数据迁移。
如何处理大事务问题?
★★★★☆
- 问题:大事务占用数据库连接、锁时间长、主从延迟大。
- 优化:
- 缩小事务范围(只在必要的写操作上加@Transactional)。
- 拆分大事务(非核心操作异步化)。
- 避免在事务中调用远程服务。
- 批量操作分批提交。
- 面试要点:事务中不要调RPC/HTTP接口(网络不可控)。
如何排查Redis慢查询?
★★★★☆
- 慢查询日志:
SLOWLOG GET 10。
- 配置:
slowlog-log-slower-than=10000(10ms)。
- 常见慢命令:
- KEYS *(全量扫描)。
- 大Key操作(hgetall 10万field的Hash)。
- 复杂聚合(SORT、SINTERSTORE)。
- 解决:
- 用SCAN替代KEYS。
- 拆分大Key。
- 避免复杂操作。
如何排查Redis连接数爆满?
★★★★☆
INFO Clients:查看connected_clients。
CLIENT LIST:查看所有连接详情(IP/age/idle/cmd)。
- 常见原因:
- 连接泄漏(忘记close)。
- 应用实例数过多。
- 连接池配置过大。
- 解决:
- 检查代码是否正确释放连接。
- 调整maxTotal/maxIdle。
- 开启连接池空闲检测(testWhileIdle)。
如何排查消息积压问题?
★★★★★
- Kafka:
kafka-consumer-groups.sh --describe查看Consumer Lag。
- 原因:
- 消费速度慢(消费逻辑耗时)。
- 消费者数不足(Partition数 > Consumer数)。
- 消费者频繁Rebalance。
- 生产者写入量突增。
- 解决:
- 增加消费者实例。
- 优化消费逻辑(批量处理/异步化)。
- 临时扩容消费者。
- 消息转发到更多Partition。
- 面试要点:消息积压是线上最常见的MQ问题。
如何设计数据库的读写分离切换?
★★★★☆
1. 确认从库数据同步完成(Seconds_Behind_Master=0)。
2. 应用连接切到从库(修改配置中心数据源)。
3. 验证读请求正常。
4. 写请求切到新主库。
5. 全量验证。
- 工具:MHA/Orchestrator自动故障转移。
- 面试要点:主从切换是高危操作,必须有回滚方案。
四、综合实战场景题(31-50)
如何设计一个秒杀系统?
★★★★★
- 核心挑战:瞬时高并发、防超卖、防刷。
- 架构分层:
- 前端:CDN静态化、按钮防抖、验证码。
- 网关:限流(令牌桶10000/s)、黑名单。
- 应用:本地缓存预判→Redis预扣库存→MQ异步下单。
- 数据库:乐观锁最终扣减
UPDATE stock SET count=count-1 WHERE id=? AND count>0。
- 防超卖:Redis DECR原子扣减 + 数据库乐观锁兜底。
- 防刷:IP限流 + 用户维度限流 + 验证码。
- 面试要点:核心是"尽量不请求到数据库"。
如何设计一个扫码登录系统?
★★★★★
1. 网页请求二维码→生成token→SSE长连接等待扫码结果。
2. 手机扫码→携带用户token→调用服务端确认。
3. 服务端关联网页token与用户token。
4. SSE推送登录成功→网页获得认证信息。
- 技术选型:
- 二维码:QRCode生成,包含token+过期时间。
- 等待机制:SSE(推荐)/ 长轮询。
- 状态管理:Redis存储token状态(待扫码/已扫码/已确认/已取消)。
如何处理百万数据导出(防OOM)?
★★★★★
@Select("SELECT * FROM big_table")
@Options(fetchSize = Integer.MIN_VALUE) // MySQL流式查询
Cursor<User> scan();
使用EasyExcel/SXSSFWorkbook(POI流式写入)。
- 方案二:异步导出。用户提交→后台异步处理→完成后通知下载。
- 方案三:分页导出。每次查1万条,追加到文件。
- 注意:
- MySQL流式查询需在事务中。
- EasyExcel自动分批写入,内存占用极低。
- 面试要点:SXSSFWorkbook或EasyExcel是标准答案。
如何设计一个延迟任务系统?
★★★★★
- 方案对比:
- RocketMQ延迟消息(推荐,支持任意延迟)。
- Redis Sorted Set + 定时轮询。
- 时间轮(Netty HashedWheelTimer)。
- 数据库轮询(性能差,不推荐)。
- 超时未支付自动取消:
// 下单时发延迟消息
rocketMQTemplate.syncSend("order-timeout", message, 3000, 5); // 5级=30分钟
// 消费者处理
@Consumer(topic = "order-timeout")
public void onTimeout(Message msg) {
Order order = orderMapper.selectById(msg.getId());
if (order.getStatus() == UNPAID) {
order.setStatus(CANCELLED);
orderMapper.updateById(order);
}
}
如何设计接口幂等性?
★★★★★
1. 客户端请求Token→服务端生成存Redis→返回。
2. 提交请求携带Token→服务端SETNX检查→存在则删除并处理。
- 数据库唯一约束:订单号/支付流水号唯一索引。
- 状态机:订单只能单向流转(待支付→已支付→已发货→已完成)。
- 乐观锁:UPDATE SET version=version+1 WHERE version=old。
- 面试要点:支付回调必须做幂等(同一笔支付可能回调多次)。
如何设计一个单点登录(SSO)系统?
★★★★☆
1. 用户登录认证中心→生成JWT Token→存Redis(token:userId)→写Cookie(认证中心域)。
2. 子系统跳转认证中心检查Cookie→有效→生成子系统Token→重定向回子系统。
3. 子系统验证Token→获取用户信息。
- 登出:删除Redis中的Token + 清除Cookie。
- 跨域:CAS协议或OAuth 2.0。
如何排查分布式系统的链路问题?
★★★★★
- 工具:SkyWalking / Jaeger / Zipkin。
- 排查步骤:
1. 拿到TraceId。
2. 在链路追踪系统中查看完整调用链。
3. 找到耗时最长的Span。
4. 分析该Span对应的接口/SQL。
5. 定位根因(慢SQL/外部服务超时/GC停顿)。
- 面试要点:TraceId通过HTTP Header/MQ Property透传全链路。
如何实现接口的版本管理?
★★★★☆
- URL版本:
/api/v1/users → /api/v2/users。
- Header版本:
X-API-Version: 2。
- Content-Type版本:
application/vnd.company.v2+json。
- 兼容性原则:
- 新版本不能破坏旧版本。
- 旧版本设置弃用时间(如6个月)。
- 渐进式迁移。
如何设计一个文件上传/下载系统?
★★★★☆
- 上传:
- 小文件(<10MB):直接上传到应用→转存MinIO/OSS。
- 大文件:分片上传(前端切分→并行上传→服务端合并)。
- 秒传:文件MD5去重。
- 下载:
- CDN加速。
- Nginx X-Accel-Redirect内部重定向(应用鉴权→Nginx发送文件)。
- 安全:URL签名+时效性+防盗链。
如何设计一个对账系统?
★★★★☆
- 场景:电商平台支付对账(我方订单 vs 支付渠道账单)。
- 流程:
1. T+1下载渠道账单(定时任务)。
2. 按订单号匹配我方流水。
3. 比对金额、状态。
4. 输出差异报告(短款:渠道有我没有 / 长款:我有渠道没有)。
5. 差异处理(人工/自动补单/退款)。
- 面试要点:对账是支付系统的核心环节,必须有自动化+人工兜底。
如何排查线上接口突然变慢?
★★★★★
1. 确认是所有接口慢还是特定接口。
2. 检查监控:CPU/内存/GC/网络/磁盘。
3. APM链路追踪看哪个环节慢。
4. 数据库:慢查询日志、锁等待、连接池。
5. 外部依赖:第三方接口响应时间。
6. 近期变更:是否发布了新版本/改了配置。
- 常见原因:
- 数据库慢查询(新上了大查询/索引失效)。
- GC停顿(内存不够/泄漏)。
- 外部服务变慢。
- 锁竞争加剧。
- 网络抖动。
如何设计一个高可用的配置中心?
★★★★☆
- Nacos集群:3节点 + MySQL主从。
- 客户端容灾:本地缓存 + Failover到其他节点。
- 配置变更审计:变更历史 + 回滚。
- 灰度发布:按IP/应用实例灰度推送。
- 面试要点:配置中心挂了不影响应用启动(本地缓存兜底)。
如何实现限流的动态调整?
★★★★☆
- 方案:
- Sentinel + Nacos:规则存储在Nacos,修改后实时推送。
- Redis + 配置中心:限流值存在配置中心,应用定时拉取。
- 网关层 + 动态路由:Nginx limit_req的rate通过Consul Template动态更新。
- 面试要点:限流规则需要根据系统负载动态调整。
如何设计一个灰度发布系统?
★★★★★
1. 网关层:根据规则(用户ID/随机比例/Cookie)在Header添加灰度标签。
2. 服务层:自定义负载均衡(根据Header匹配实例metadata)。
3. 数据层:灰度用户使用灰度数据库(影子库)。
- 规则配置:
- 按百分比:5%→20%→50%→100%。
- 按白名单:指定用户ID。
- 按地域:指定城市。
- 回滚:切换流量回旧版本。
如何排查K8s中的Pod CrashLoopBackOff?
★★★★☆
1. kubectl describe pod <name>:查看Events(OOMKilled/Error等)。
2. kubectl logs <name> --previous:查看上一次容器的日志。
3. 常见原因:
- OOMKilled→增大resources.limits.memory。
- 应用启动失败(配置错误/依赖不可达)。
- 健康检查失败(Liveness Probe超时)。
- 镜像拉取失败(ImagePullBackOff)。
- 面试要点:--previous查看上一次容器日志是关键命令。
如何设计一个统一的异常处理体系?
★★★★☆
@RestControllerAdvice
public class GlobalExceptionHandler {
@ExceptionHandler(BizException.class)
public Result handleBiz(BizException e) {
log.warn("业务异常", e);
return Result.fail(e.getCode(), e.getMessage());
}
@ExceptionHandler(Exception.class)
public Result handleException(Exception e) {
log.error("系统异常", e);
return Result.fail(500, "系统繁忙");
}
}
- 错误码体系:系统码(2位) + 模块码(2位) + 错误码(2位)。如 100101 = 用户模块登录失败。
- 面试要点:对外不暴露堆栈信息,内部记录完整日志。
如何实现分布式链路日志追踪?
★★★★★
- 方案:MDC(Mapped Diagnostic Context)+ TraceId。
1. Filter/Interceptor生成TraceId→放入MDC。
2. Logback配置%X{traceId}自动输出。
3. Feign/RestTemplate Interceptor透传TraceId Header。
4. MQ消息携带TraceId。
- Spring Cloud Sleuth自动实现以上功能。
- 面试要点:TraceId是排查分布式问题的关键。
如何排查网络不通问题?
★★★★☆
1. ping:基础连通性。
2. telnet/nc -zv:端口是否可达。
3. curl -v:HTTP层是否响应。
4. traceroute/mtr:路由路径。
5. nslookup/dig:DNS解析。
6. iptables/firewall:防火墙规则。
7. 抓包:tcpdump -i eth0 port 8080 -w capture.pcap。
- K8s中:kubectl exec进Pod→curl service名称。
如何设计一个API限流降级体系?
★★★★★
- 多级限流:
- Nginx层:limit_req_zone全局限流。
- 网关层:Sentinel集群限流。
- 应用层:Guava RateLimiter单机限流。
- 数据库层:连接池大小限制。
- 降级策略:
- 核心接口:保证可用(返回缓存/默认值)。
- 非核心接口:直接拒绝或关闭。
- 写操作:转异步(MQ)。
- 读操作:返回缓存数据。
- 面试要点:限流是保护手段,降级是应急策略,两者配合使用。
面试综合:线上生产环境整体监控方案?
★★★★★
- 监控体系(四层):
- 基础设施:Node Exporter + Prometheus(CPU/内存/磁盘/网络)。
- 中间件:Redis Exporter / MySQL Exporter / Kafka Exporter。
- 应用层:Micrometer + Prometheus(JVM/HTTP/QPS/RT/线程池)。
- 业务层:自定义指标(订单量/支付成功率/错误率)。
- 告警:
- AlertManager:分组+抑制+路由。
- P0:电话+短信,P1:IM,P2:邮件。
- OnCall轮值制度。
- 日志:ELK/Loki集中管理。
- 追踪:SkyWalking/OpenTelemetry。
- 面试要点:可观测性 = Metrics + Logs + Traces(三支柱)。
附:速查表
| 问题 | 排查命令/工具 |
| CPU 100% | top -Hp → jstack → nid定位 |
| 频繁Full GC | jstat -gcutil → jmap -histo → GC日志 |
| OOM | HeapDumpOnOutOfMemoryError → MAT分析 |
| 死锁 | jstack → "Found one Java-level deadlock" |
| 慢SQL | slow_query_log + EXPLAIN |
| 连接池耗尽 | HikariPoolMXBean + SHOW PROCESSLIST |
| 消息积压 | kafka-consumer-groups --describe → Lag |
| Pod崩溃 | kubectl describe pod + logs --previous |
| 接口变慢 | APM链路追踪 → 分解延迟 |
| 网络不通 | ping→telnet→curl→tcpdump |