JVM诊断四层穿透法:从OS进程到字节码的根因定位
1. 这不是“又一个监控页面”,而是JVM问题的显微镜与手术刀
你有没有遇到过这样的场景:线上服务突然响应变慢,GC日志里频繁出现Full GC,但堆内存使用率却只显示40%;或者应用启动后几分钟内就OOM,jstat -gc输出的Old Gen使用量曲线像心电图一样剧烈抖动;又或者线程池里的活跃线程数持续上涨,jstack抓出来的线程dump里全是WAITING状态,却找不到任何明显阻塞点——这时候,你打开的不是Zabbix或Prometheus的Dashboard,而是一套真正能“看见”JVM内部脉搏的诊断工具链。
JVM监控诊断工具,从来就不是简单地把-Xmx、-XX:+PrintGCDetails这些参数配上一个图表界面。它是一套分层穿透的观察体系:从操作系统进程视角看JVM整体资源占用,到JVM运行时数据区(堆、元空间、直接内存)的实时水位与对象分布,再到字节码执行层面的热点方法、锁竞争、类加载行为,最后落到具体线程栈帧的执行路径与本地变量状态。这四层,每一层都需要不同的工具、不同的观察维度、不同的解读逻辑。比如,jps和jstat只能告诉你“有病”,jmap和jhat能帮你定位“病灶在哪个器官”,而jstack配合async-profiler才能看清“病灶细胞正在分泌什么异常蛋白”。
我做过三年Java中间件运维,也带过两个团队做性能优化,踩过的坑基本都和工具误用有关:有人把jstat的-gc输出当成绝对真理,却忽略了它采样间隔带来的瞬时峰值失真;有人用jmap -histo查内存泄漏,却没意识到它会触发Full GC,让本就脆弱的服务雪上加霜;还有人迷信可视化监控平台的“一键诊断”按钮,结果点完发现告警阈值设在了年轻代95%,而实际业务中年轻代存活对象比例常年稳定在30%——这个阈值根本没意义。真正的JVM诊断,是工具、原理、业务特征三者的咬合。今天这篇,不讲概念,不列命令大全,只拆解一套我在生产环境反复验证、能直接抄作业的诊断流程:从问题浮现的第一秒开始,到根因锁定的那一刻为止,每一步用什么工具、为什么选它、参数怎么调、结果怎么看、常见陷阱在哪,全部摊开说透。
2. 四层穿透:从进程到字节码的诊断纵深结构
JVM诊断不是平面扫描,而是立体钻探。我把整个过程划分为四个物理层级,每个层级对应一组核心工具、一种观察视角、一类典型问题。这种分层不是为了炫技,而是因为不同层级的问题,其成因、影响范围和修复成本天差地别。跳过低层直接看高层,就像用CT片判断阑尾炎——影像清晰,但病因可能在肠道菌群失衡这种微观层面。
2.1 第一层:OS进程层——确认JVM是否“活着”,且“吃得下饭”
这是诊断的起点,也是最容易被忽略的“基础健康检查”。很多看似JVM问题的故障,根源其实在操作系统层面:CPU被其他进程抢占、内存被系统缓存吃掉、文件描述符耗尽、甚至JVM进程本身已被OOM Killer干掉。
核心工具:ps, top, lsof, cat /proc/[pid]/status
-
ps -eo pid,ppid,cmd,%cpu,%mem,etime,rss,vsz --sort=-%cpu | head -20
这条命令比单纯ps aux更有效:etime显示进程已运行秒数,能快速识别刚重启的“假死”进程;rss(常驻内存集)和vsz(虚拟内存大小)对比,可发现是否存在大量未映射的虚拟内存(如-XX:MaxDirectMemorySize设置过大但未使用);--sort=-%cpu按CPU倒序,一眼揪出CPU飙高的罪魁。 -
top -p [pid] -H
-H开启线程模式,%CPU列显示的是线程级CPU占用。如果某个线程长期占满一个核(>90%),说明存在死循环或密集计算,而非GC问题。此时jstack输出里该线程的栈帧会反复出现同一行代码。 -
lsof -p [pid] | wc -l
查看JVM进程打开的文件描述符总数。Linux默认限制通常是1024,Tomcat等容器若配置不当,连接数激增时极易触达上限,表现为java.net.SocketException: Too many open files。cat /proc/[pid]/limits可确认当前限制值。
提示:
jps在此层作用有限。它依赖JVM的Attach机制,当JVM卡在GC或死锁时,jps可能根本无法列出进程,而ps依然可靠。所以,第一反应永远是ps aux | grep java,而不是jps -l。
实操心得:有一次我们线上服务响应延迟突增,jstat显示GC正常,jstack线程数也平稳。最后用top -p [pid] -H发现一个名为C2 CompilerThread0的线程CPU占用98%,查/proc/[pid]/stack确认它卡在JIT编译某个复杂Lambda表达式上。临时方案是添加-XX:-UseCompiler禁用JIT,问题立解——这完全超出了传统JVM监控工具的覆盖范围,必须下沉到OS线程层。
2.2 第二层:JVM运行时层——量化内存、GC、类加载的“生理指标”
这一层是JVM诊断的核心战场,目标是回答三个关键问题:内存是否真的不够?GC是否在拖累性能?类加载是否异常?
核心工具:jstat, jmap, jinfo
-
jstat -gc -h10 [pid] 1000
-h10每10行输出一个表头,避免信息淹没;1000毫秒采样间隔。重点观察:S0C/S1C: Survivor区容量。若长期为0,说明-XX:SurvivorRatio设置过小或对象晋升过快。EC: Eden区容量。结合EU(Eden使用量),计算Eden填充速率:(EU_now - EU_1s_ago) / 1000 * 1000(单位KB/s)。若远超Young GC频率*Eden容量,则存在对象创建风暴。OC/OU: Old Gen容量与使用量。OU持续缓慢上涨是内存泄漏的典型信号,但需排除-XX:MaxMetaspaceSize不足导致的元空间溢出(此时jstat -gcmetacapacity的MC会接近MU)。
-
jmap -heap [pid]
输出JVM堆内存详细配置与当前使用摘要。关键看MaxHeapSize是否等于-Xmx(确认参数生效),以及PS Young Generation和PS Old Generation的capacity是否与jstat输出一致——不一致说明JVM启动后动态调整过堆大小(如-XX:+UseAdaptiveSizePolicy)。 -
jmap -clstats [pid]
类加载统计。重点关注Number of loaded classes是否持续增长(类泄漏),以及Number of unloaded classes是否为0(卸载失败)。Spring Boot应用若使用devtools,常因ClassLoader隔离不彻底导致此类问题。
注意:
jmap -histo虽常用,但风险极高。它会触发Full GC,对生产环境是“核弹级”操作。替代方案是jmap -dump:format=b,file=heap.hprof [pid]生成堆转储,再用jhat或MAT离线分析。但dump文件可能达GB级,需确保磁盘空间充足。
避坑指南:jstat的-gccause选项常被推荐,但它只显示最后一次GC的原因,对分析周期性GC无帮助。真正有用的是-gclog配合-Xloggc:/path/to/gc.log,将GC日志持久化。现代JDK(9+)推荐-Xlog:gc*:file=/path/to/gc.log:time,uptime,pid,tid,level,tags,日志格式更规范,可直接用gcviewer或gceasy.io分析。
2.3 第三层:字节码执行层——定位热点、锁争用与对象分配源头
当第二层确认存在性能瓶颈(如GC频繁、CPU高),第三层就要深入代码执行细节,回答:是哪段代码在疯狂创建对象?是哪个方法在消耗最多CPU?是哪把锁成了瓶颈?
核心工具:jstack, async-profiler, jcmd
-
jstack -l [pid] > thread_dump.txt
-l参数至关重要,它会输出java.util.concurrent锁的详细信息(如ReentrantLock的持有者、等待队列)。没有-l,你看到的只是- waiting to lock <0x...>,无法关联到具体锁实例。 -
async-profiler(推荐v2.9+)
这是目前最强大的JVM火焰图生成器。相比jstack的静态快照,它基于perf或dtrace进行低开销采样(<2% CPU),能真实反映CPU时间分布。BASH# 采集CPU热点(60秒)./profiler.sh -e cpu -d 60 -f profile.html [pid]# 采集分配热点(对象创建位置)./profiler.sh -e alloc -d 60 -f alloc.html [pid]火焰图中,宽条代表高耗时方法,颜色深浅表示采样次数。若
String.substring()占据大片区域,说明存在大量字符串切片操作;若ConcurrentHashMap.put()频繁出现,需检查是否因哈希冲突导致链表过长。 -
jcmd [pid] VM.native_memory summary
查看JVM原生内存(Native Memory)使用。当-Xmx设置合理但RSS(常驻内存)持续上涨,且jstat显示堆内存稳定时,大概率是DirectByteBuffer、JNI或CodeCache泄漏。此命令输出Total、Java Heap、Class、Thread、Code、Internal等分类,Internal项异常高,往往指向ByteBuffer.allocateDirect()未释放。
实战技巧:
jstack输出中,java.lang.Thread.State: BLOCKED (on object monitor)表示线程在等待进入synchronized块,而java.lang.Thread.State: WAITING (parking)则多见于LockSupport.park()(如ReentrantLock、CountDownLatch)。前者通常伴随- locked <0x...>行,后者需结合-l参数看AQS队列状态。
2.4 第四层:字节码与调试层——单步追踪、变量窥探与JIT反汇编
这是诊断的终极手段,适用于极少数疑难杂症:JIT编译错误、JNI调用崩溃、字节码层面的逻辑歧义。它需要调试器介入,对生产环境应极度谨慎。
核心工具:jdb, jhsdb, jfr(Java Flight Recorder)
-
jhsdb jstack --pid [pid]
jhsdb是JDK9+的统一诊断工具,jstack子命令比原生jstack更稳定,尤其在JVM挂起时仍可工作。 -
jfr start --duration=60s --filename=recording.jfr --settings=profile
Java Flight Recorder是JVM内置的高性能事件记录器。profile预设包含CPU样本、内存分配、锁竞争、GC事件等。录制后用jfr view recording.jfr或JDK Mission Control图形化分析。其优势在于开销极低(<2%),且能捕获jstack无法获取的JIT编译、异常抛出等事件。 -
jdb -attach [pid]
命令行调试器。典型用法:BASHjdb -attach 12345> stop in com.example.service.UserService.processOrder> run> locals # 查看当前栈帧局部变量> dump this # 查看当前对象所有字段生产环境慎用!
stop命令会暂停JVM,导致服务不可用。
关键认知:第四层工具不是“更高级”,而是“更侵入”。
jfr是唯一推荐在生产环境长期开启的第四层工具(通过-XX:+FlightRecorder -XX:StartFlightRecording=duration=60s,filename=/tmp/rec.jfr,settings=profile),因其设计目标就是低开销监控。其他工具,务必遵循“先复现,再调试”原则,在预发环境完成问题定位。
3. 工具选型决策树:为什么不用Arthas、VisualVM或Prometheus?
市面上JVM监控工具琳琅满目,Arthas、VisualVM、JConsole、Prometheus+JMX Exporter、Micrometer……为何本文聚焦于原生JDK工具?答案很简单:可控性、确定性、最小依赖。在生产环境,尤其是金融、电信等强稳定性要求的领域,任何第三方工具的引入都意味着新的故障点、新的权限模型、新的升级兼容性风险。
3.1 Arthas:强大但非万能,它的边界在哪里?
Arthas(阿尔萨斯)无疑是国产JVM诊断神器,watch、trace、ognl等功能直击痛点。但它本质是一个“动态Agent”,其工作原理是在目标JVM中注入一个Instrumentation代理。这就带来三个硬性约束:
- JVM版本兼容性:Arthas 3.7.x 支持 JDK 8~17,但对JDK 18+支持滞后。某次我们升级到JDK 21,Arthas无法attach,而
jstack、jstat原生可用。 - 安全策略限制:某些企业安全基线禁止
-javaagent参数启动,Arthas的as.sh脚本会尝试修改JAVA_HOME/jre/lib/management-agent.jar,触发安全审计告警。 - Agent自身开销:
trace命令对高频方法(如ArrayList.get())采样,可能导致JVM卡顿。曾有案例,trace -n 5 com.example.dao.UserDao.findById在QPS 5k的接口上引发毛刺。
我的实践准则:Arthas用于快速定位(如
dashboard看实时线程/CPU、watch查入参返回值),一旦定位到可疑类,立刻切换回jstack+jmap做确定性验证。绝不依赖Arthas的jad反编译结果作为最终依据,因为其反编译可能受混淆、字节码增强(Lombok、MyBatis)影响。
3.2 VisualVM/JConsole:图形化便利背后的陷阱
VisualVM和JConsole提供直观的GUI,但它们严重依赖JMX(Java Management Extensions)。而JMX在生产环境常被禁用或配置不当:
com.sun.management.jmxremote参数未开启,或仅绑定127.0.0.1,远程无法连接。- JMX端口(默认9999)被防火墙拦截,或与应用端口冲突。
- 启用JMX需额外配置SSL证书,运维成本陡增。
更致命的是,JMX暴露的MBean数据是采样聚合结果。例如java.lang:type=Memory的HeapMemoryUsage.used,是JVM内部计数器的快照,其精度受GC周期影响。而jstat读取的是JVM内部C++结构体的原始值,毫秒级准确。一次线上事故中,JConsole显示堆内存使用率85%,jstat却显示OU仅62%,最终发现是JMX MBean的used值包含了尚未被GC清理的SoftReference对象,造成误判。
3.3 Prometheus+JMX Exporter:监控的归监控,诊断的归诊断
Prometheus是优秀的监控系统,但不是诊断工具。它的设计哲学是“拉取(Pull)+ 时间序列存储”,适合回答“过去一小时GC次数是多少?”这类问题。但诊断需要的是“此刻发生了什么?”——jstack的线程栈、jmap的堆对象直方图、async-profiler的火焰图,都是瞬时快照,无法被Prometheus的拉取模型有效承载。
JMX Exporter将JMX数据转换为Prometheus格式,本质是做了二次抽象。例如,它把java.lang:type=GarbageCollector,name=G1 Young Generation的CollectionCount导出为jvm_gc_collection_seconds_count,但丢失了每次GC的详细日志(如[GC pause (G1 Evacuation Pause) (young)])、触发原因(Allocation Failure vs Metadata GC Threshold)、各Region回收详情。这些信息,恰恰是深度诊断的黄金数据。
经验总结:我的监控架构是“双轨制”——Prometheus负责宏观趋势监控(CPU、内存、HTTP QPS、JVM GC次数/耗时),原生JDK工具负责微观根因诊断。两者互补,而非替代。上线新服务时,第一件事是写好
jstat、jstack的自动化采集脚本,第二件事才是配置Prometheus JMX Exporter。
4. 一套可落地的诊断SOP:从告警到根因的7步闭环
再好的工具,没有标准化流程也是摆设。我团队沉淀了一套7步诊断SOP,已在20+个核心系统上线验证,平均故障定位时间(MTTD)从45分钟降至8分钟。它不追求理论完美,只强调可执行、可复现、可追溯。
4.1 Step 1:告警触发与初步筛选(≤2分钟)
收到告警(如“服务响应P99>2s”、“JVM Old Gen使用率>90%”)后,立即执行:
判断标准:
- 若
ps无输出,进程已死,跳至Step 4(启动问题)。 - 若
top显示CPU>90%且free内存充足,大概率是CPU密集型问题,进入Step 3(热点分析)。 - 若
jstat显示OU持续上升(三次采样增量>50MB),进入Step 2(内存泄漏排查)。
4.2 Step 2:内存泄漏定位(≤15分钟)
目标:确认泄漏对象类型及创建路径。
关键技巧:MAT的“Dominator Tree”视图比“Histogram”更有效。它按对象支配关系排序,顶部节点往往是泄漏的“根容器”。例如,org.springframework.context.support.DefaultListableBeanFactory下的singletonObjects Map,若其value中包含大量UserSession对象,说明Session未正确销毁。
4.3 Step 3:CPU热点与锁竞争分析(≤10分钟)
目标:找到消耗CPU最高的方法及锁瓶颈。
解读要点:
- CPU火焰图中,若
java.util.HashMap.get()占比高,检查是否因哈希冲突(key的hashCode()实现不佳)。 - 锁火焰图中,若
java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await()堆积,说明await()未配对signal(),导致线程永久等待。
4.4 Step 4:JVM启动与配置核查(≤5分钟)
目标:排除参数配置错误。
常见雷区:
-Xms与-Xmx不相等:导致JVM启动后动态扩容,引发STW。-XX:MaxDirectMemorySize未设置:NIO应用易因直接内存耗尽OOM。-XX:+UseG1GC但-XX:MaxGCPauseMillis=100:G1目标停顿时间过短,导致GC频率激增。
4.5 Step 5:GC日志深度分析(≤20分钟)
目标:理解GC行为模式,区分“健康压力”与“病理状态”。
健康指标:
- Young GC平均耗时 < 50ms,Full GC频率 < 1次/天。
- Mixed GC回收的Old Region数量应逐步减少(表明老年代在收缩)。
to-space-exhausted或evacuation-failure频繁出现,说明-XX:G1HeapRegionSize设置不当或堆碎片化严重。
4.6 Step 6:线程死锁与活锁检测(≤3分钟)
目标:快速识别经典死锁。
活锁识别:jstack中大量线程处于RUNNABLE状态,但栈帧在java.util.concurrent.locks.StampedLock.tryOptimisticRead()或java.util.concurrent.ThreadLocalRandom.nextLong()循环,说明在自旋等待,需检查无锁算法实现。
4.7 Step 7:验证与回归(≤5分钟)
目标:确认修复有效,防止复发。
- 短期验证:修改参数后,用
jstat -gc观察GC频率是否下降;用curl -I http://localhost:8080/actuator/health确认服务恢复。 - 长期监控:在Prometheus中新增告警规则,如
jvm_gc_collection_seconds_count{job="app",gc="G1 Young Generation"}[1h] > 100,防止同类问题复发。 - 知识沉淀:将本次诊断过程、根因、解决方案写入团队Wiki,标题格式:“【JVM】[应用名]-[问题现象]-[根因]”,便于后续检索。
最后提醒:这套SOP的价值不在步骤本身,而在强制的节奏感。每个Step有明确时限,超时即升级(如Step 2超15分钟未定位,立即通知架构师介入)。它把模糊的“排查问题”变成了清晰的“执行清单”,极大降低了工程师的决策压力。
5. 那些年我们踩过的“JVM工具”深坑与填坑指南
工具是死的,人是活的。再完美的工具链,用错场景、配错参数、读错结果,都会南辕北辙。以下是我在一线踩过的、代价最惨重的五个坑,每一个都附带血泪教训和可立即执行的规避方案。
5.1 坑1:jstat的“采样幻觉”——你以为的GC风暴,其实是采样误差
场景:某支付系统凌晨3点告警,jstat -gc显示1秒内发生3次Young GC,EU从100MB飙升至800MB又回落。运维同学断定是对象创建风暴,紧急回滚代码。结果回滚后问题依旧,且jstat输出变得诡异:GC次数忽高忽低。
根因:jstat的采样是异步轮询,并非实时钩子。当JVM在执行长时间GC(如Full GC耗时2秒)时,jstat的两次采样可能分别落在GC开始前和GC结束后,导致EC、EU值剧烈跳变,被误读为多次GC。真实情况是:一次Full GC,期间Eden区被清空,jstat恰好捕捉到“清空前”和“清空后”的两个瞬间。
填坑方案:
- 永远用
-gclog日志作为GC事实依据,jstat仅作快速概览。 jstat采样间隔设为5000(5秒)以上,避开GC窗口期。- 使用
jstat -gc -h10 [pid] 5000,观察YGC(Young GC次数)列是否单调递增。若出现“100→95→102”,说明采样错乱,数据无效。
5.2 坑2:jmap -histo的“核弹效应”——一次命令,服务雪崩
场景:电商大促期间,商品详情页超时。jstat显示Old Gen使用率95%,工程师执行jmap -histo [pid]查大对象,命令执行后5秒内,所有接口503。
根因:jmap -histo会触发全局Stop-The-World,强制执行一次Full GC。在高负载下,这次GC可能耗时数秒,且因堆内存已近极限,GC后几乎无空间可用,新请求全部失败。
填坑方案:
- 绝对禁止在生产环境使用
jmap -histo。替代方案只有两个:jmap -dump:format=b,file=heap.hprof [pid](仍需评估磁盘IO影响)。- 开启JFR,用
jfr start --duration=30s --settings=profile录制,jfr不会触发GC。
- 在CI/CD流水线中加入检查:
grep "jmap.*histo" deploy-script.sh && echo "ERROR: jmap -histo found!" && exit 1。
5.3 坑3:jstack的“线程快照失真”——你看到的,未必是真相
场景:订单创建接口超时,jstack输出显示大量线程在java.net.SocketInputStream.socketRead0(),判定为下游DB连接池耗尽。但DB监控显示连接数仅50/200。
根因:jstack是瞬时快照,它捕获的是线程在那一毫秒的栈帧。socketRead0()阻塞,可能是网络抖动、下游服务短暂不可用,而非连接池问题。更可能是线程在等待数据库连接,但jstack采样时恰巧卡在Socket读取上。
填坑方案:
jstack必须配合-l参数,查看locked <0x...>和waiting to lock <0x...>的对应关系。- 对于IO阻塞,优先查
netstat -anp | grep [pid]看TCP连接状态(TIME_WAIT、CLOSE_WAIT过多)。 - 使用
async-profiler的-e wall(挂钟时间采样),它能捕获线程在各种状态(包括阻塞)下的时间占比。
5.4 坑4:-XX:+PrintGCDetails的日志“黑洞”——日志写了,却没人看
场景:系统上线后,-XX:+PrintGCDetails开启,GC日志每天产生10GB,但从未被分析。直到OOM发生,翻日志才发现Metaspace早已告警。
根因:日志开启≠日志利用。PrintGCDetails输出格式混乱(尤其JDK8),且缺乏结构化,人工无法有效阅读。
填坑方案:
- 强制结构化:JDK9+用
-Xlog:gc*:file=gc.log:time,uptime,pid,tid,level,tags。 - 日志轮转:
-Xlog:gc*:file=gc.log:time,uptime,pid,tid,level,tags:filecount=7,filesize=100M。 - 自动化分析:部署
gcviewer或gceasy.io的私有化实例,每日邮件发送GC健康报告(含Avg GC Pause、Full GC Frequency、Metaspace Usage趋势)。
5.5 坑5:JMX的“蜜罐陷阱”——看似丰富的指标,实则误导决策
场景:监控平台显示jvm_memory_used_bytes{area="heap"}持续上涨,触发告警。工程师根据此指标扩容JVM,结果OOM更频繁。
根因:JMX的used值包含SoftReference引用的对象,这些对象在内存紧张时会被GC回收。而jstat的OU只统计强引用对象。当应用大量使用SoftReference缓存(如Spring的ConcurrentReferenceHashMap),JMX指标会虚高。
填坑方案:
- 指标选择黄金法则:监控用JMX,诊断用
jstat。JMX指标仅用于趋势预警(如7天均值上涨20%),根因分析必须回归jstat原始值。 - 在Prometheus中,用
rate(jvm_memory_used_bytes{area="heap"}[1h])代替绝对值,看增长率而非瞬时值。 - 对于
SoftReference敏感的应用,增加自定义指标:jcmd [pid] VM.native_memory summary | grep "Internal",监控原生内存异常增长。
这些坑,每一个都曾让我在凌晨三点被电话叫醒,对着屏幕冷汗涔涔。它们共同指向一个真理:JVM诊断工具不是魔法棒,而是手术刀。刀锋是否锐利,取决于你是否清楚它的材质、它的刃角、它最适合切割哪种组织。盲目相信工具输出,不如没有工具。
6. 终极建议:构建你的JVM诊断“瑞士军刀”包
不要试图掌握所有工具,而要打造一套属于你自己的、精简高效的诊断组合。我推荐一个“最小可行集合”(MVS),它满足95%的生产问题,且零外部依赖、零安装成本、零学习曲线。
6.1 核心三件套:jstat、jstack、jmap(JDK自带,无需下载)
jstat:你的“血压计”。每天定时执行jstat -gc -h10 [pid] 5000 > /var/log/jvm/jstat.log,留存一周,它是GC健康的基线。jstack:你的“X光片”。jstack -l [pid] > /var/log/jvm/thread_$(date +%s).txt,配合grep "BLOCKED\|WAITING"快速筛查。jmap:你的“CT扫描”。仅在内存告警时,用jmap -dump:format=b,file=/tmp/heap_$(date +%s).hprof [pid],离线分析。
6.2 进阶两利器:async-profiler、jfr(一键部署,开箱即用)
async-profiler:下载最新版profiler.sh,放入/opt/tools/。它的-e cpu、-e alloc、-e lock三个模式,覆盖了性能问题的90%。jfr:JDK9+原生支持。在启动脚本中加入-XX:+FlightRecorder -XX:StartFlightRecording=duration=60s,filename=/tmp/jfr_$(date +%s).jfr,settings=profile,故障时直接取文件分析。
6.3 永远的备胎:ps、top、lsof(OS层,最后防线)
当JVM完全卡死,jps、jstat全部失效时,ps aux | grep java和top -p [pid] -H是你唯一的希望。它们不依赖JVM状态,只依赖OS内核。
我的个人习惯:在每台应用服务器的
/root/bin/目录下,存放一个jvm-diag.sh脚本,内容就是上述7步SOP的自动化命令。故障时,SSH登录,敲jvm-diag.sh [pid],10秒内完成所有基础诊断数据采集。工具的价值,不在于有多炫酷,而在于你能否在压力之下,手指不抖地敲出那