凌晨告警:服务卡死重启。「重启大法」能救今晚,救不了明晚。这篇讲一套能落地的排查流程:用什么工具看、按什么顺序查、常见病怎么治。调优不是玄学,是按清单走。
jstat——看 GC 体检报告:
jstat -gcutil <pid> 1000 5 # 每 1 秒一次,共 5 次,看百分比
# S0 S1 E O M YGC YGCT FGC FGCT GCT
# 0.0 85.2 92.3 67.1 95.2 1204 6.2 18 9.1 15.3
# ↑18次Full GC共9.1秒——问题在这
健康线:单次 Young GC < 50ms、Full GC < 500ms、GC 总耗时占比 < 5%、Full GC 频率 < 1 次/小时。越线才需要调,不越线别瞎调。
jmap——看堆里住了谁:jmap -histo <pid> | head -20 按占用排序数对象;jmap -dump:format=b,file=heap.hprof <pid> 导出快照(注意会 STW,生产慎用;更稳妥的是启动参数 -XX:+HeapDumpOnOutOfMemoryError,OOM 时自动留现场)。
jstack / Arthas——看线程在干嘛:CPU 飙高的经典三连是 top -Hp <pid> 找最热线程 → 线程号转十六进制 → jstack 里搜对应 nid 看堆栈。有 Arthas(阿里开源诊断工具)更省事:thread -n 5 直接列出最吃 CPU 的五个线程和堆栈。
1. 拿现场:HeapDump(自动参数兜底或手动 dump)
2. 开验尸报告:Eclipse MAT 打开,先看 Leak Suspects(泄漏嫌疑)和 Dominator Tree(谁占最多)
3. 锁定大户:找到异常多的类——百万级 byte[]?几千个没关的 Connection?
4. 顺藤摸瓜:右键 Path to GC Roots(排除弱/软引用),看是谁「持住」不放:静态 Map?ThreadLocal?缓存没淘汰?
5. 对症修:代码层(关资源、加缓存上限、remove)或参数层(加堆、换收集器)只会治标,找到持有者才是治本
五种 OOM 对号入座:Java heap space 堆满 → 按五步走;Metaspace 类加载爆(动态代理狂造类);GC overhead limit exceeded 是堆 OOM 的前奏;Direct buffer memory 是 NIO 堆外内存;unable to create native thread 是线程数超 OS 上限。
病例一:Young GC 频繁(每小时几百次,单次不慢)——不是泄漏,是新生代太小,Eden 一会儿就满。治法:调大 -Xmn(或 NewRatio),让 Eden 装得更多、GC 次数降下来。
病例二:Full GC 反复来——按顺序查四件事:内存泄漏(Old 区只涨不降 → MAT);大对象直入老年代(PretenureSizeThreshold);Survivor 太小导致对象过早晋升(SurvivorRatio);代码里谁手贱调了 System.gc()(-XX:+DisableExplicitGC 直接禁掉)。
# 接口偶发慢?看调用链每层耗时,直接揪出慢的那一层
trace com.example.OrderService create '#cost > 50'
# 怀疑参数不对?不动代码观测方法出入参和异常
watch com.example.OrderService create '{params, returnObj, throwExp}' -x 3
# 想临时看详细日志?不用重启
logger --name ROOT --level DEBUG
watch 看单个方法的进出,trace 看整条链路每层耗时,stack 反查谁在调它——生产不允许重启时的三根救命稻草。
java -Xms4g -Xmx4g \ # 初始=最大,避免动态伸缩抖动
-XX:+UseG1GC \
-XX:MaxGCPauseMillis=200 \ # 停顿预算
-XX:MaxMetaspaceSize=512m \
-XX:+HeapDumpOnOutOfMemoryError \ # OOM 自动留现场
-XX:HeapDumpPath=/data/logs/heap.hprof \
-Xlog:gc*:file=/data/logs/gc.log \ # GC 日志必须开
-jar app.jar
原则:堆给够并固定、GC 日志常开、OOM 自动 dump。这三条不做,出了事就是盲人摸象。
// 想做"缓存",没有上限、没有过期、没有淘汰
static final Map<String, byte[]> CACHE = new HashMap<>();
public byte[] render(String tpl) {
return CACHE.computeIfAbsent(tpl, this::loadAndParse); // 无限增长
}
症状演进:Old 区锯齿的底边逐周抬高——Full GC 后回不到原位;Young GC 也跟着变频繁,晋升压力大;MAT 的 Dominator Tree 第一名就是它,几百万个 entry。修复按优先级:换 Caffeine 或 Guava Cache(容量、过期、淘汰全套);退而求其次 ConcurrentHashMap 加定时清理;没什么访问量的,直接删掉这个伪缓存。
自查口诀「缓存三问」:有上限吗?有过期吗?有淘汰吗?三连否的 static 集合,就是排期里的下一次 OOM。
反直觉但省钱:多数服务不需要 JVM 调优。判据一条——业务可感知指标(耗时、超时率)没有 GC 引起的毛刺。满足这些就别折腾:
指标健康还硬调,引入的是新风险不是新收益。调优永远从「量化现状」开始,不从「听说了个参数」开始。
K8s/Docker 部署专项:老版本 JVM 看到的是宿主机的内存和核数,容器限 2G、它以为 64G,堆一把拉满被系统 OOMKilled。JDK 8u191+ 和 JDK 10+ 默认开 -XX:+UseContainerSupport 自动识别容器限额;再补 -XX:ActiveProcessorCount,不然 GC 线程数按宿主机 96 核起,业务线程抢不到 CPU。
接口响应正常,重启后跑几天突然起不来,日志一行:OOM Metaspace。jmap -clstats 看类统计:某反射框架生成的代理类几万个。治法三条:升级框架(新版带类缓存)、控制代理生成源头、设 MaxMetaspaceSize 兜底——让泄漏早暴露早报警,而不是无声拖到整机瘫痪。
和堆泄漏的区别要记牢:堆泄漏在堆曲线上看得见,Metaspace 泄漏在堆曲线上毫发无损,得盯类加载数那条线——监控别只看堆。
每次调优写三行:改前指标、改了什么、改后指标。三个月后你会感谢这份档案——参数为什么是现在这个值,档案说了算;没有档案,接手的人只能猜,或者推倒重来。附一个真实例子:某服务 Young GC 从每天一万次降到两千次,改动只有一行——新生代从 1G 调到 2G。没有前后记录,这个结论就只活在当事人脑子里,人走经验就带走了。
另附三条容易漏的检查:swap 是否被打开(GC 慢一个数量级);容器内存限额是否小于堆加元空间加直接内存之和;监控的堆指标用的是哪个口径。留档还有个隐藏收益:复盘时分得清「调优见效」和「流量自己变了」,这两件事最容易被混为一谈。
调优流程就一条线:jstat 看 GC 报告、jmap/MAT 验堆尸、jstack/Arthas 抓现行;OOM 走五步法,Full GC 查四病因,生产三保底——堆固定、日志常开、OOM 自动 dump。