mapreduce.Job: Running job: job_xxx 就卡住了

火柴头9527 2019-12-12 09:17:33
我按照这个博客https://www.cnblogs.com/frankdeng/p/9047698.html,在腾讯云上使用3个实例,1核4G内存,搭建Hadoop完全分布式集群(HA),前面都很顺利,但当执行wordcount程序时,却卡住了,找了很多资料都没有解决,修改内存等等:
[admin@VM_0_2_centos hadoop]$ hadoop jar /home/admin/modules/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/admin/input /user/admin/output
19/12/12 20:44:22 INFO input.FileInputFormat: Total input paths to process : 4
19/12/12 20:44:22 INFO mapreduce.JobSubmitter: number of splits:4
19/12/12 20:44:22 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1576153959867_0002
19/12/12 20:44:22 INFO impl.YarnClientImpl: Submitted application application_1576153959867_0002
19/12/12 20:44:22 INFO mapreduce.Job: The url to track the job: http://linux02:8088/proxy/application_1576153959867_0002/
19/12/12 20:44:22 INFO mapreduce.Job: Running job: job_1576153959867_0002
<卡住了>
谢谢指点,jinjiankang1980@126.com
...全文
1647 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
火柴头9527 2020-03-23
  • 打赏
  • 举报
回复
我的问题解决了,忘记回来更新了:原来是主机名有问题“VM_0_2_centos hadoop”,Spark规定不能使用下划线,修改主机名,去掉下划线就解决了。
Happy_Saint 2020-03-05
  • 打赏
  • 举报
回复
引用 4 楼 Happy_Saint 的回复:
先关闭集群 然后该yarn配置 再开集群 如果多次运行bin/hdfs namenode -format 可能也会出现问题,建议在关闭集群的时候,重新初始化hdfs ,把自己建建立的文件夹 /home/hadooop-data下的文件夹内容都清理一下
yarn参数配置参考https://blog.csdn.net/dai451954706/article/details/50464036
Happy_Saint 2020-03-05
  • 打赏
  • 举报
回复
先关闭集群 然后该yarn配置 再开集群 如果多次运行bin/hdfs namenode -format 可能也会出现问题,建议在关闭集群的时候,重新初始化hdfs ,把自己建建立的文件夹 /home/hadooop-data下的文件夹内容都清理一下
RivenDong 2019-12-18
  • 打赏
  • 举报
回复
卡住没有报错的情况,可能是通信问题造成的,请确保服务器每台主机上的/etc/hosts文件里有主机名和IP地址的映射
火柴头9527 2019-12-18
  • 打赏
  • 举报
回复
引用 2 楼 RivenDong 的回复:
卡住没有报错的情况,可能是通信问题造成的,请确保服务器每台主机上的/etc/hosts文件里有主机名和IP地址的映射
检查了,/etc/hosts配置没问题,谢谢。
小羽Jary 2019-12-14
  • 打赏
  • 举报
回复
看一下yarn的日志啊

20,809

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧