单词统计job执行了很久都没有完成。

桃园闲人 2016-06-04 11:33:10
刚刚学习大数据,自己搭建了一个分布式环境,启动成功后可以通过web界面访问,界面如下:


master节点上查看进程如下:
hadoop@master:~/hadoop-2.7.2$ jps
2418 Jps
1879 SecondaryNameNode
2056 ResourceManager
1694 NameNode

执行hadoop_home/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar 的单词统计demo,命令如下:
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount inputfiles outfiles
inputfiles文件夹已在hdfs上创建,里面有一个txt文件,内容为一边英文新闻,200多单词,执行命令后出现如下日志,并一直卡住不动。
hadoop@master:~/hadoop-2.7.2$ hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount inputfiles outfiles
16/06/04 10:58:18 INFO client.RMProxy: Connecting to ResourceManager at master-hadoop/192.168.100.180:8032
16/06/04 10:58:21 INFO input.FileInputFormat: Total input paths to process : 1
16/06/04 10:58:22 INFO mapreduce.JobSubmitter: number of splits:1
16/06/04 10:58:23 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1465008926631_0002
16/06/04 10:58:24 INFO impl.YarnClientImpl: Submitted application application_1465008926631_0002
16/06/04 10:58:24 INFO mapreduce.Job: The url to track the job: http://master-hadoop:8088/proxy/application_1465008926631_0002/
16/06/04 10:58:24 INFO mapreduce.Job: Running job: job_1465008926631_0002

通过Web界面查看job如下图:


很久很久不动不知道什么问题,请高手指教!
...全文
577 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
Q-WHai 2016-06-16
  • 打赏
  • 举报
回复
分布式运行是会卡一会儿。你数据量大么?
ae5555 2016-06-15
  • 打赏
  • 举报
回复
http://blog.csdn.net/ae5555/article/details/44683377
stephen9527 2016-06-06
  • 打赏
  • 举报
回复
你启动yarn把NameManager和ResourceManager启动起来再试试吧!

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧