运行队列突增10多倍,cpu瞬间耗尽,求大神指点
主机环境:
AIX 6.1.8.15
build AIX
command /usr/bin/topas_nmon -f -T -s 180 -c 480 -youtput_dir=/monitor/bossmon/kdbdsb3 -ystart_time=00:00:03 28-Jun
cpus 256 160
date 28-Jun-16
disks_per_line 150
hardware Architecture PowerPC Implementation POWER7_COMPAT_mode 64 bit
host kdbdsb3
interval 180
kernel HW-type=CHRP=Common H/W Reference Platform Bus=PCI LPAR=Dynamic Multi-Processor 64 bit
LPARNumberName 2 kdbdsb3
MachineType IBM 9179-MHC
主机上部署了内存数据库。
分析采集监控内存使用率,多个时间段CPU 100%,
主机分析:cpu瞬间飙升到100%,user使用96%,sys 用4%;主机内存无明显变化,使用率50% 多
进一步分析nmon发现同一时间进程数瞬间飙升10多倍,从50升到700多。同时上下文切换也瞬间从200降到30多、系统调用也瞬间从600降到60。网络流量、磁盘读写瞬间下降50%以上。
当时使用topas查看,cpu使用最高的都是数据库server进程 。 重启部分客户端的进程恢复,但是再启动后故障重现。最后重启大量客户端进程后恢复。
问题:
1. 运行队列为什么会瞬间上升?
2.cpu使用率100%但磁盘、网络、上下文切换、系统调用都明显下降。感觉cpu100%但它并没有工作,那cpu在干什么?
3. 这个问题主机、数据库、应用程序方面都没查出问题,都觉得自己没有问题,我该如何入手解决?请高手指点,多谢!