运行队列突增10多倍,cpu瞬间耗尽,求大神指点

shpjsj 2016-08-09 10:45:48
主机环境:
AIX 6.1.8.15
build AIX
command /usr/bin/topas_nmon -f -T -s 180 -c 480 -youtput_dir=/monitor/bossmon/kdbdsb3 -ystart_time=00:00:03 28-Jun
cpus 256 160
date 28-Jun-16
disks_per_line 150
hardware Architecture PowerPC Implementation POWER7_COMPAT_mode 64 bit
host kdbdsb3
interval 180
kernel HW-type=CHRP=Common H/W Reference Platform Bus=PCI LPAR=Dynamic Multi-Processor 64 bit
LPARNumberName 2 kdbdsb3
MachineType IBM 9179-MHC
主机上部署了内存数据库。

分析采集监控内存使用率,多个时间段CPU 100%,
主机分析:cpu瞬间飙升到100%,user使用96%,sys 用4%;主机内存无明显变化,使用率50% 多
进一步分析nmon发现同一时间进程数瞬间飙升10多倍,从50升到700多。同时上下文切换也瞬间从200降到30多、系统调用也瞬间从600降到60。网络流量、磁盘读写瞬间下降50%以上。


当时使用topas查看,cpu使用最高的都是数据库server进程 。 重启部分客户端的进程恢复,但是再启动后故障重现。最后重启大量客户端进程后恢复。

问题:
1. 运行队列为什么会瞬间上升?
2.cpu使用率100%但磁盘、网络、上下文切换、系统调用都明显下降。感觉cpu100%但它并没有工作,那cpu在干什么?
3. 这个问题主机、数据库、应用程序方面都没查出问题,都觉得自己没有问题,我该如何入手解决?请高手指点,多谢!



...全文
2675 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
GarrySeven 2016-08-31
  • 打赏
  • 举报
回复
先把数据库的进程杀掉,看看是啥情况
shpjsj 2016-08-09
  • 打赏
  • 举报
回复
nmon上取得图片,不知道怎么上传,nmon不知道怎么上传。

1,194

社区成员

发帖
与我相关
我的任务
社区描述
该论坛主要探讨IBM AIX平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
社区管理员
  • IBM AIX社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧