请教wordcount问题

johnny_zuo 2013-11-27 05:36:20
我单机运行wordcount或hive之类的都正常,但我把slaves里加了datanode后,就一直停在下面的步骤,一下不往下走,请问是什么问题?
hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount /input/file2.txt output
13/11/27 17:30:21 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/11/27 17:30:22 INFO input.FileInputFormat: Total input paths to process : 1
13/11/27 17:30:22 INFO mapreduce.JobSubmitter: number of splits:1
13/11/27 17:30:22 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class
13/11/27 17:30:22 INFO Configuration.deprecation: mapreduce.combine.class is deprecated. Instead, use mapreduce.job.combine.class
13/11/27 17:30:22 INFO Configuration.deprecation: mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name
13/11/27 17:30:22 INFO Configuration.deprecation: mapreduce.reduce.class is deprecated. Instead, use mapreduce.job.reduce.class
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.output.key.class is deprecated. Instead, use mapreduce.job.output.key.class
13/11/27 17:30:22 INFO Configuration.deprecation: mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir
13/11/27 17:30:22 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1385602164267_0002
13/11/27 17:30:23 INFO impl.YarnClientImpl: Submitted application application_1385602164267_0002 to ResourceManager at /0.0.0.0:8032
13/11/27 17:30:23 INFO mapreduce.Job: The url to track the job: http://namenode:8088/proxy/application_1385602164267_0002/
13/11/27 17:30:23 INFO mapreduce.Job: Running job: job_1385602164267_0002
...全文
545 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
glgl2424 2014-05-05
  • 打赏
  • 举报
回复
遇到和楼主一样的问题,看到楼主最终没有把解决方案贴出来,我就分享一下。 这个问题其实很简单,关键还是/usr/hadoop/tmp目录的权限问题。虽然表面上这个目录是存在的,也有读写权限,但是你要注意这个目录的用户是root,而不是hadoop。从另一个方面也能印证,那就是打开hadoop提供的网页,里面显示有3个nohealthy的节点,他的提示信息大概是/usr/hadoop/tmp目录下没有nmlocal-...(记不得了)。 所以我很干脆的删除了这个tmp目录,并且用hadoop用户重建了这个目录,然后重新format,貌似问题就解决了。 由于目前手头没有环境,没办法截图,只好大概回答一下,如果有需要,可以跟我讨论
glgl2424 2014-05-04
  • 打赏
  • 举报
回复
楼主,你的问题解决了吗?
Peerless.Feng 2014-02-25
  • 打赏
  • 举报
回复
楼主,后来问题解决了吗?我也遇到同样问题,检查配置也没什么问题。日志也正常。
MarsXDM 2013-12-11
  • 打赏
  • 举报
回复
遇到同样的问题,但是配置文件没问题,不知道问题出在哪了~
johnny_zuo 2013-11-28
  • 打赏
  • 举报
回复
引用 1 楼 u010231199 的回复:
同问。。。。。
找到问题了,去查看job的日志,按网上很多的配置,把yarn-site.xml里的yarn都写成Yarn了,改回小写就好了。
u010231199 2013-11-27
  • 打赏
  • 举报
回复
同问。。。。。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧