hadoop HA部署，启动namenode报错

请叫我马里奥 2018-09-26 08:03:24
HA部署，配置内容如下：
core-site.xml：
<configuration>

 <property>

    <!--  hdfs 地址，ha中是连接到nameservice -->

    <name>fs.defaultFS</name>

    <value>hdfs://cluster</value>

  </property>

  <property>

    <!--  -->

    <name>hadoop.tmp.dir</name>

    <value>/data1/hadoop/tmp</value>

  </property>

  <property>

   <name>ha.zookeeper.quorum</name>

   <value>zk.cloud.ziroom.com:2181</value>

 </property>

</configuration>


hdfs-site.xml：
<configuration>

    <!--hdfs存储时的备份个数-->

	<property>

       <name>dfs.replication</name>

       <value>3</value>

    </property>

	<property>

        <name>dfs.namenode.name.dir</name>

        <value>/data1/hadoop/hdfs/name</value>

    </property>

	<property>

        <name>dfs.datanode.data.dir</name>

        <value>/data1/hadoop/hdfs/data</value>

    </property>

 <property>

    <!-- 为namenode集群定义一个services name -->

    <name>dfs.nameservices</name>

    <value>cluster</value>

  </property>

  <property>

    <!-- nameservice 包含哪些namenode，为各个namenode起名 -->

    <name>dfs.ha.namenodes.cluster</name>

    <value>nn1,nn2</value>

  </property>

  <property>

    <!--  名为nn1的namenode 的rpc地址和端口号，rpc用来和datanode通讯 -->

    <name>dfs.namenode.rpc-address.cluster.nn1</name>

    <value>10.216.18.100:8020</value>

  </property>

  <property>

    <!-- 名为nn2的namenode 的rpc地址和端口号，rpc用来和datanode通讯  -->

    <name>dfs.namenode.rpc-address.cluster.nn2</name>

    <value>10.216.18.101:8020</value>

  </property>

  <property>

    <!--名为nn1的namenode 的http地址和端口号，web客户端 -->

    <name>dfs.namenode.http-address.cluster.nn1</name>

    <value>10.216.18.100:50070</value>

  </property>

  <property>

    <!--名为nn2的namenode 的http地址和端口号，web客户端 -->

    <name>dfs.namenode.http-address.cluster.nn2</name>

    <value>10.216.18.101:50070</value>

  </property>

  <property>

    <!--  namenode间用于共享编辑日志的journal节点列表 -->

    <name>dfs.namenode.shared.edits.dir</name>

    <value>qjournal://10.216.18.101:8485;10.216.18.102:8485;10.216.18.103:8485/cluster</value>

  </property>

  <property>

    <!--  journalnode 上用于存放edits日志的目录 -->

    <name>dfs.journalnode.edits.dir</name>

    <value>/data1/hadoop/hdfs/journal</value>

  </property>

  <property>

    <!--  客户端连接可用状态的NameNode所用的代理类 -->

    <name>dfs.client.failover.proxy.provider.cluster</name>

    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  </property>



    <property>

                <name>dfs.ha.fencing.methods</name>

                <value>shell(/bin/true)</value>

        </property>

  <property>

    <name>dfs.ha.automatic-failover.enabled</name>

    <value>true</value>

  </property>

  <property>

     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>

     <value>false</value>

  </property>



</configuration>


slaves：
10.216.18.101
10.216.18.102
10.216.18.103

yarn-site.xml：
<configuration>



<!-- Site specific YARN configuration properties -->

	<!-- 设置 resourcemanager 在哪个节点-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>10.216.18.100</value>

    </property>



    <!-- reducer取数据的方式是mapreduce_shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>



    <property>

         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

         <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

</configuration>


mapred-site.xml：
<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>


在格式化namenode 后启动namenode报错:
************************************************************/

2018-09-26 19:23:05,145 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]

2018-09-26 19:23:05,150 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: createNameNode []

2018-09-26 19:23:05,428 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties

2018-09-26 19:23:05,512 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).

2018-09-26 19:23:05,512 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started

2018-09-26 19:23:05,515 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: fs.defaultFS is hdfs://cluster

2018-09-26 19:23:05,516 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Clients are to use cluster to access this namenode/service.

2018-09-26 19:23:05,680 INFO org.apache.hadoop.hdfs.DFSUtil: Starting Web-server for hdfs at: http://otsdb_smart_1_18_100:50070

2018-09-26 19:23:05,736 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog

2018-09-26 19:23:05,744 INFO org.apache.hadoop.security.authentication.server.AuthenticationFilter: Unable to initialize FileSignerSecretProvider, falling back to use random secrets.

2018-09-26 19:23:05,759 INFO org.apache.hadoop.http.HttpRequestLog: Http request log for http.requests.namenode is not defined

2018-09-26 19:23:05,764 INFO org.apache.hadoop.http.HttpServer2: Added global filter 'safety' (class=org.apache.hadoop.http.HttpServer2$QuotingInputFilter)

2018-09-26 19:23:05,766 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.

java.lang.IllegalArgumentException: The value of property bind.address must not be null

	at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)

	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1204)

	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1185)

	at org.apache.hadoop.http.HttpServer2.initializeWebServer(HttpServer2.java:414)

	at org.apache.hadoop.http.HttpServer2.<init>(HttpServer2.java:367)

	at org.apache.hadoop.http.HttpServer2.<init>(HttpServer2.java:114)

	at org.apache.hadoop.http.HttpServer2$Builder.build(HttpServer2.java:296)

	at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:126)

	at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:761)

	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:640)

	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:820)

	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:804)

	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1516)

	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1582)

2018-09-26 19:23:05,768 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1

2018-09-26 19:23:05,787 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:



麻烦各位大神看看是怎么回事？
...全文
517 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
夜间独白 2019-02-13
  • 打赏
  • 举报
 回复 
otsdb_smart_1_18_100
主机名不能有下划线，连接可以改成“-”这样的连接
Hadoop HA HDFS启动 NameNode启动失败解析
今天也要努力学习 作者大哥：me2xp https://www.linuxidc.com/Linux/2016-03/129437.htm 看日志真的很重要！！！！！！！！！！ 一、问题描述 HA按照规划配置好，启动后，NameNode不能正常启动。刚启动的时候 jps 看到了NameNode，但是隔了...
启动namenode报错：Journal Storage Directory /var/bigdata/hadoop/full/dfs/jn/dmgeo not formatted
启动namenode报错：Journal Storage Directory /var/bigdata/hadoop/full/dfs/jn/dmgeo not formatted 在测试flink的HA时，把某个节点（部署了jobmanager和namenode）的节点reboot了，然后启动时发现namenode没有起来，报错大概如下： org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Stora
Hadoop双namenode配置搭建（HA）
配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。 配置Hadoop文件 需要修
hadoop namenode HA集群搭建
hadoop集群搭建(namenode是单点的) http://www.cnblogs.com/kisf/p/7456290.html HA集群需要zk, zk搭建：http://www.cnblogs.com/kisf/p/7357184.html zk可视化管理工具：http://www.cnblogs.com/kisf/p/7365690.html ...
Hadoop启动不了Namenode进程，出现IllegalArgumentException异常
仔细参考了 CSDN 中的心血博客（http://blog.csdn.net/licongcong_0224/article/details/12972889）之后，终于算是把 Hadoop 2.2里要配置的内容搞清楚了。不过在启动 Hadoop 服务时，终于还是出现了问题。 这次的问题乍看起来很奇怪，在本机完成配置进行“伪分布式”启动的时候，首先，我们需要对namenode进行fo
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章