Hadoop中如何获取正在运行的Mapper的个数

[beiyangxiao]

哪位高手知道编写MapReduce时，如何获取正在执行的Mapper和Reducer的个数吗？有这个API么？

[撸大湿]

可以通过JOB STATUS或者profiling获取 但用这个作为监控执行中的MAP或REDUCE的个数并不太好。 因为JOBTRACKER和TASKTRACKER之间的监控有延时，就是那个恶心的3000毫秒常量 你监控的所有数据最少有3秒钟的延时，最长6秒钟。 推荐你个简单搞笑的的办法， 1、在MAP或REDUCE方法的SETUP函数中，加入一个实时写入HDFS的功能。 MAP或REDUCE拉起来时，就把JOB_ID+TASKER_ID+start time 写入一个文件下的文件。 2、当MAP或者REDUCE结束时，在cleanUP函数中记录JOB_ID+TASKER_ID+stop time 复写原文件 利用HDFS API，写一个JAVA CLIENT去监控，1秒轮循扫，瞬间就能看结果