windows eclispe 调用hadoop mapreduce任务,后台不显示执行情况

孤单胖南瓜_ 2014-08-11 04:24:21
windows eclispe 调用hadoop mapreduce任务,后台不显示执行情况。
调用代码

public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(IntWritable.class);
conf.setMapperClass(Map.class);
conf.setCombinerClass(Reduce.class);
conf.setReducerClass(Reduce.class);
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));
JobClient.runJob(conf);
}

程序正确执行了http://fedorayuan:8088/cluster 这个页面做死的看不到执行情况。不知道为毛,各位大神能帮忙解决一下吗?
非常感谢,在线等。


hadoop2.2版本,后台提交的job能正常看到执行情况。
yarn-site.xml的配置

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
...全文
280 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
孤单胖南瓜_ 2015-12-31
  • 打赏
  • 举报
回复
已解决,Eclipse默认在本机跑map reduce,所以在集群上看到提交的任务,加上以下类似参数就可以了。 conf.set("yarn.resourcemanager.hostname", "192.168.128.201"); conf.set("yarn.resourcemanager.admin.address", "192.168.128.201:8033"); conf.set("yarn.resourcemanager.address", "192.168.128.201:8032"); conf.set("yarn.resourcemanager.resource-tracker.address", "192.168.128.201:8035"); conf.set("yarn.resourcemanager.scheduler.address", "192.168.128.201:8030"); conf.set("mapred.jar", "G:/hdSpace/test1.jar"); //eclipse打的jar包,要不 会找不到类 错误

20,811

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧