windows eclispe 调用hadoop mapreduce任务,后台不显示执行情况
windows eclispe 调用hadoop mapreduce任务,后台不显示执行情况。
调用代码
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(IntWritable.class);
conf.setMapperClass(Map.class);
conf.setCombinerClass(Reduce.class);
conf.setReducerClass(Reduce.class);
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));
JobClient.runJob(conf);
}
程序正确执行了http://fedorayuan:8088/cluster 这个页面做死的看不到执行情况。不知道为毛,各位大神能帮忙解决一下吗?
非常感谢,在线等。
hadoop2.2版本,后台提交的job能正常看到执行情况。
yarn-site.xml的配置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>