hadoop达人乱入!job tracker虚拟内存不断增长

风隐才藏 2012-11-12 08:03:37
top - 19:56:01 up 213 days, 7:22, 0 users, load average: 0.84, 0.87, 0.85
Tasks: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us, 0.1%sy, 1.1%ni, 98.6%id, 0.1%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 32955440k total, 32772908k used, 182532k free, 1103584k buffers
Swap: 16779884k total, 244k used, 16779640k free, 23589308k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ SWAP CODE DATA
1046 hdfs 25 10 15.5g 5.6g 11m S 6.0 17.9 1823:59 9.9g 36 15g

jobtracker jvm配置-Xmx10240m -d64 -XX:MaxDirectMemorySize=1g

这个是jobtracker进程的top信息,距离上次重启jobtracker一个星期,可以看到进程的swap已经到9.9g了,但res只有5.6g,jvm配置的10g的堆都还没用完。最奇怪的是上面系统总的swap却只有244k。何解?
...全文
374 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
rollandlee 2013-02-26
  • 打赏
  • 举报
回复
GC的问题?????
风隐才藏 2012-11-13
  • 打赏
  • 举报
回复
用pmap查看后发现存在大量类似以下的内存使用,数量在5k左右 00007fc7c5d2e000 1016 44 44 rwx-- [ anon ] 00007fc7c5e2c000 12 0 0 ----- [ anon ] 估计应该是线程占用的内存。
风隐才藏 2012-11-13
  • 打赏
  • 举报
回复
目前已经定位到问题是由于jobtracker使用的线程大概每6小时会增长160左右造成jobtracker进程swap增加200m,线程为何会一直增长?

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧