hadoop2.7.2 节点nodemanager启动失败

依然那么楞 2016-07-08 06:48:32
这是我在master上启动 hadoop 返回的状态
[root@banhai2 hadoop]# start-all.sh 

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [192.168.1.168]

192.168.1.168: starting namenode, logging to /home/hadoop/hadoop-2.7.2/logs/hadoop-root-namenode-banhai2.out

192.168.1.167: starting datanode, logging to /home/hadoop/hadoop-2.7.2/logs/hadoop-root-datanode-banhai3.out

Starting secondary namenodes [192.168.1.168]

192.168.1.168: starting secondarynamenode, logging to /home/hadoop/hadoop-2.7.2/logs/hadoop-root-secondarynamenode-banhai2.out

starting yarn daemons

starting resourcemanager, logging to /home/hadoop/hadoop-2.7.2/logs/yarn-root-resourcemanager-banhai2.out

192.168.1.167: starting nodemanager, logging to /home/hadoop/hadoop-2.7.2/logs/yarn-root-nodemanager-banhai3.out

[root@banhai2 hadoop]# jps

4215 NameNode

4574 ResourceManager

4846 Jps

4408 SecondaryNameNode

而在Slave上也启动DataNode：
[root@banhai3 logs]# jps

26101 DataNode

26349 Jps

但是就是启动不了nodemanager。
也按照网上的修改了 但是就是不行。 求解
这是 yarn-root-nodemanager-banhai3.out
Jul 08, 2016 6:28:10 PM com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory register

INFO: Registering org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebServices as a root resource class

Jul 08, 2016 6:28:10 PM com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory register

INFO: Registering org.apache.hadoop.yarn.webapp.GenericExceptionHandler as a provider class

Jul 08, 2016 6:28:10 PM com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory register

INFO: Registering org.apache.hadoop.yarn.server.nodemanager.webapp.JAXBContextResolver as a provider class

Jul 08, 2016 6:28:10 PM com.sun.jersey.server.impl.application.WebApplicationImpl _initiate

INFO: Initiating Jersey application, version 'Jersey: 1.9 09/02/2011 11:17 AM'

Jul 08, 2016 6:28:10 PM com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory getComponentProvider

INFO: Binding org.apache.hadoop.yarn.server.nodemanager.webapp.JAXBContextResolver to GuiceManagedComponentProvider with the scope "Singleton"

Jul 08, 2016 6:28:10 PM com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory getComponentProvider

INFO: Binding org.apache.hadoop.yarn.webapp.GenericExceptionHandler to GuiceManagedComponentProvider with the scope "Singleton"

Jul 08, 2016 6:28:11 PM com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory getComponentProvider

INFO: Binding org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebServices to GuiceManagedComponentProvider with the scope "Singleton"


这是：yarn-root-nodemanager-banhai3.log 内容：

2016-07-07 17:55:42,932 INFO org.apache.hadoop.yarn.server.nodemanager.NodeManager: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NodeManager

STARTUP_MSG:   host = banhai3/127.0.0.1

STARTUP_MSG:   args = []

STARTUP_MSG:   version = 2.7.2

TARTUP_MSG:   build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41; compiled by 'jenkins' on 2016-01-26T00:08Z

STARTUP_MSG:   java = 1.7.0_79

************************************************************/

2016-07-07 17:55:42,937 INFO org.apache.hadoop.yarn.server.nodemanager.NodeManager: registered UNIX signal handlers for [TERM, HUP, INT]

2016-07-07 17:55:43,340 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2016-07-07 17:55:43,677 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.container.ContainerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl$ContainerEventDispatcher

···其中都是INFO···

2016-07-07 17:55:43,806 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.event.LocalizerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService$LocalizerTracker

2016-07-07 17:55:43,822 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: The Auxilurary Service named 'mapreduce_shuffle' in the configuration is for class org.apache.hadoop.mapred.ShuffleHandler which has a name of 'httpshuffle'. Because these are not the same tools trying to send ServiceData and read Service Meta Data may have issues unless the refer to the name in the config.



···INFO···

2016-07-07 17:55:45,078 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdater

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from  localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

        at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:270)

        at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:196)

        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)

        at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)

        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:271)

        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)

        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:486)

        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:533)







...全文
6396 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
英雄史诗 2019-02-14
  • 打赏
  • 举报
 回复
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>8</value>
</property>

<!-- 设置内存 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>8000</value>
</property>
我的2.7.4，设置成这样就可以；
查资料说：如果自己不设置，就会用默认值启动；但默认值又不符合hadoop要求，就报错了。
我的这里设的比实际的大的多（我电脑实际只有4G内存，4核CPU）。应该是上边说的。
依然那么楞 2016-07-12
  • 打赏
  • 举报
 回复
引用 5 楼 ling811 的回复:
[quote=引用 1 楼 Evankaka 的回复:] NodeManager from localhost doesn't satisfy minimum allocations, 好像是内存不够了。
我添加的2048了都不够吗？ 为什么我还是启动不起来[/quote] 嗯 我把yarn-env.sh中的JAVA_HEAP_MAX=-Xmx3072m 改成3G了 这次nodemanager启动起来了~ 谢谢了~~~
依然那么楞 2016-07-11
  • 打赏
  • 举报
 回复
<property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> <discription>单个任务可申请最少内存，默认1024MB</discription> </property> 我添加到了2048 怎么还是启动不了， 启动nodeManager 加上参数-Xmx2048M 怎么个写法
引用 2 楼 ArayChou 的回复:
https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 应该调小这个参数,yarn.scheduler.minimum-allocation-mb 默认值为1G 或者启动nodeManager加上参数 -Xmx2048M 试试
ArayChou 2016-07-11
  • 打赏
  • 举报
 回复
引用 5 楼 ling811 的回复:
我添加的2048了都不够吗？ 为什么我还是启动不起来
帅哥,这个配置是要求NodeManager至少有2G的内存,比起以前的1G,要求更高了.... (其实,你可以将这里修改成512试验一下) 要提高NodeManger的内存,配置在这里:~/hadoop-2.7.2/etc/hadoop/yarn-env.sh
依然那么楞 2016-07-11
  • 打赏
  • 举报
 回复
引用 1 楼 Evankaka 的回复:
NodeManager from localhost doesn't satisfy minimum allocations,
好像是内存不够了。


我添加的2048了都不够吗？ 为什么我还是启动不起来
ArayChou 2016-07-11
  • 打赏
  • 举报
 回复
引用 3 楼 ling811 的回复:
<property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> <discription>单个任务可申请最少内存，默认1024MB</discription> </property> 我添加到了2048 怎么还是启动不了， 启动nodeManager 加上参数-Xmx2048M 怎么个写法
yarn.scheduler.minimum-allocation-mb这个配置是对NodeManager的内存的最小要求,上应该将他设置得更小才可以让你的NodeManager工作起来. 不过实际上要根据需求来定多少. 可以调大NodeManager的内存,配置文件是在hadoop-2.7.2/etc/hadoop/yarn-env.sh; 
[aray@hadoop1 hadoop]$ grep "HEAP" ~/hadoop-2.7.2/etc/hadoop/yarn-env.sh
JAVA_HEAP_MAX=-Xmx1000m
# For setting YARN specific HEAP sizes please use this
# YARN_HEAPSIZE=1000
if [ "$YARN_HEAPSIZE" != "" ]; then
  JAVA_HEAP_MAX="-Xmx""$YARN_HEAPSIZE""m"
上面贴出的是默认的配置,可以看出,nodemanager的默认heap大小是1000M,小于上面个默认配置的1024M的要求. 我没有相关经验,如果你还有问题,可以搜索搜索
ArayChou 2016-07-10
  • 打赏
  • 举报
 回复
https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 应该调小这个参数,yarn.scheduler.minimum-allocation-mb 默认值为1G 或者启动nodeManager加上参数 -Xmx2048M 试试
Evankaka 2016-07-08
  • 打赏
  • 举报
 回复
NodeManager from localhost doesn't satisfy minimum allocations, 好像是内存不够了。
hadoop自动化运维工具Ambari应用实践
Apache Ambari是一种基于Web的运维工具，支持Apache Hadoop集群的自动化部署、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。  Ambari使用Ganglia收集度量指标，用Nagios支持系统报警，当需要引起管理员的关注时（比如，节点停机或磁盘剩余空间不足等问题），系统将向其发送邮件。 本课程主要讲解Ambari工具的使用，主要涉及Ambari的安装部署、在Ambari下自动化部署一套hadoop3.x集群、在Ambari下扩容hadoop集群节点、在Ambari下添加Hive、hbase、spark等服务，以及如何实现hadoop集群中服务的自动化管理，还介绍了Ambari下如何进行故障告警和故障通知功能。     本课程采用Centos7.x版本，Ambari版本为Ambari2.7.x，hadoop版本为HDP3.1(hadoop3.x)。   1、Ambari的工作原理与架构2、安装与部署Ambari3、通过Ambari部署一个Hadoop3.x集群4、通过Ambari扩容hadoop集群节点5、通过Ambari在hadoop集群中新增hive/hbase/tez服务组件6、通过Ambari在hadoop中新增spark计算引擎7、通过Ambari管理hadoop集群中的各种组件和服务8、通过Ambari修改hadoop集群各个组件配置参数9、在Ambari平台配置监控告警、并设置通知策略
hadoop2.7.2分布式集群搭建(三台)
【代码】hadoop2.7.2分布式集群搭建(三台)
linux安装hadoop2.7.2nodemanager启动停止
在datanode节点查看日志：vim logs/yarn-root-nodemanager-node2.logERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdater org.apache.hadoop....
大数据Hadoop2.7.2完全分布式安装教程
4）安装Hadoop2.7.2 5）配置环境变量 6）配置集群 7）配置ssh 8）群起并测试集群 2，安装JDK1.8 2.1 配置hosts [yb@hadoop101 opt]$ sudo vi /etc/profile 加入自己的IP，我的是 192.168.1.101 h
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程 文章目录CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程@[TOC](文章目录)1.虚拟机及软件准备2.CentOS虚拟机配置相关（根据自己需要而定）3.固定虚拟机ip 1....
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章