hadoop集群启动失败

@xz 2020-03-19 12:15:19

三个节点，只有主节点起来了，请大佬指教，从节点机器上没有任何节点

...全文

156 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

最直接且最快速的解决方案是给每个服务器或者虚拟机扩充内存，楼主最开始每台阿里云服务器为4G内存，扩充到8G后完美解决这个问题，并且Hadoop集群启动速度明显增快。其它的解决方案可以参考其它CSDN的帖子，例如修改内存配置文件等。要意识到，如果Hadoop集群之前一直可以正常使用，突然有一天无法正常启动，那问题出现的地方大概率并非Hadoop文件的配置问题，而是近期的某个操作影响到了Hadoop集群启动这个过程。，而内存不足会直接导致Hadoop集群启动失败或者无法再写入文件。这种情况下，很有可能是。

1.没有关闭防火墙 2.没有生效配置文件 [netlab@master ~]$ source ~/.bash_profile 3.Hadoop中的配置文件是添加，不是替换 4.配置免密钥登录时注意用户的统一；多次配置需删除.ssh在生成密钥对，重启虚拟机 5.(1)格式化一次启动：start-all.sh (2)格式化多次： ①关闭集群 ②删除hadoopdata目录

对于新配置的集群，需要将集群格式化，这时会在hadoop的根目录下多了两个文件夹，一个是data另一个是logs。在配置文件的时候改错、多加都会导致集群启动异常，发生出错误后，可查看$HADOOP_HOME/logs/看logs下的该节点的namenode.log文件。

Hadoop集群启动常见错误注意：dfs是在NameNode的机器上起的服务，而yarn是在yarn-site配置时配置的那台机器上启动的服务。常见错误一：重复格式化对于新配置的集群，需要将集群格式化，这时会在hadoop的根目录下多了两个文件夹，一个是data另一个是logs。 name和data的clusterID应该是一样的看logs下的该节点的namenode.log文件常见错误二：配置文件修改错误在配置文件的时候改错、多加都会导致集群启动异常，发生出错误后，可查看$HADOOP_H

Linux/Unix社区

23,217

社区成员

74,540

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章