[求助]部署hadoop yarn集群，nodemanager启动不起来-CSDN论坛

[求助]部署hadoop yarn集群，nodemanager启动不起来

其他技术论坛 > 分布式计算/Hadoop

收藏回复

[问题点数：100分]

⋅[求助]部署hadoop yarn集群，nodemanager启动不起来 更多帖子 关注私信空间博客 wwt1116 等级 本版专家分：0 结帖率 0%: 用的四台服务器，部署Hadoop（HDFS HA）集群部署
最后启动sbin/start-yarn.sh的时候，其他日志都不报错，只有datanode节点上的yarn-root-nodemanager-localhost.localdomain.log 报错，如下

************************************************************/
2015-04-27 08:29:45,227 INFO org.apache.hadoop.yarn.server.nodemanager.NodeManager: registered UNIX signal handlers for [TERM, HUP, INT]
2015-04-27 08:29:46,522 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.container.ContainerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl$ContainerEventDispatcher
2015-04-27 08:29:46,523 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl$ApplicationEventDispatcher
2015-04-27 08:29:46,524 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.event.LocalizationEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService
2015-04-27 08:29:46,524 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServicesEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices
2015-04-27 08:29:46,525 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl
2015-04-27 08:29:46,526 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainersLauncherEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainersLauncher
2015-04-27 08:29:46,553 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.ContainerManagerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl
2015-04-27 08:29:46,554 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.NodeManagerEventType for class org.apache.hadoop.yarn.server.nodemanager.NodeManager
2015-04-27 08:29:46,611 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2015-04-27 08:29:46,673 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2015-04-27 08:29:46,673 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NodeManager metrics system started
2015-04-27 08:29:46,719 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.loghandler.event.LogHandlerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.loghandler.NonAggregatingLogHandler
2015-04-27 08:29:46,719 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService: per directory file limit = 8192
2015-04-27 08:29:46,748 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.event.LocalizerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService$LocalizerTracker
2015-04-27 08:29:46,771 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: The Auxilurary Service named 'mapreduce_shuffle' in the configuration is for class class org.apache.hadoop.mapred.ShuffleHandler which has a name of 'httpshuffle'. Because these are not the same tools trying to send ServiceData and read Service Meta Data may have issues unless the refer to the name in the config.
2015-04-27 08:29:46,771 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Adding auxiliary service httpshuffle, "mapreduce_shuffle"
2015-04-27 08:29:46,867 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl:  Using ResourceCalculatorPlugin : org.apache.hadoop.yarn.util.LinuxResourceCalculatorPlugin@1532021a
2015-04-27 08:29:46,867 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl:  Using ResourceCalculatorProcessTree : null
2015-04-27 08:29:46,867 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Physical memory check enabled: true
2015-04-27 08:29:46,868 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Virtual memory check enabled: true
2015-04-27 08:29:46,876 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Initialized nodemanager for null: physical-memory=16384 virtual-memory=34407 virtual-cores=10
2015-04-27 08:29:46,935 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [namenode1:8034] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [namenode1:8034] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
        at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
        at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
        at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceStart(ContainerManagerImpl.java:268)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:199)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:339)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:386)
Caused by: java.net.BindException: Problem binding to [namenode1:8034] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719)
        at org.apache.hadoop.ipc.Server.bind(Server.java:422)
        at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:534)
        at org.apache.hadoop.ipc.Server.<init>(Server.java:2203)
        at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505)
        at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480)
        at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742)
        at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169)
        at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:132)
        ... 9 more
2015-04-27 08:29:46,939 INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [namenode1:8034] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [namenode1:8034] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
        at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
        at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
        at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceStart(ContainerManagerImpl.java:268)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:199)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:339)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:386)
Caused by: java.net.BindException: Problem binding to [namenode1:8034] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
……………………

2015-04-27 08:29:46,940 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NodeManager metrics system...
2015-04-27 08:29:46,940 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NodeManager metrics system stopped.
2015-04-27 08:29:46,940 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NodeManager metrics system shutdown complete.

跪求解决方法

2015-04-27 17:49:55

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅如何从串连续自然数中均匀的取出5个数字？ ⋅如何声音频谱压缩与扩充？ ⋅【求助】错误: 找不到或无法加载主类 JSVC_HOME=NODE_OPTS 更多帖子 关注私信空间博客 vigiles 等级 本版专家分：0: 看看/etc/hosts里，主机名如何配置的

2015-05-20 22:58:05

点赞只看TA 引用举报 #1得分 0

⋅java内存问题 ⋅mapreduce入库hbase报responseTooSlow ⋅从位大神怎么根据域名判断是哪种类型的网站。比如https://www.baidu.com是搜索。lol.qq.com是游戏。有没有这样的一个库 更多帖子 关注私信空间博客 夜无边CN 等级 本版专家分：0: 是不是你启动多次。之前启动没有启动成功，但商品被占用。用jps查一下进程，把之前的kill了.。重新启试试
BindException

You can get a BindException java.net.BindException: Address already in use if a socket on a machine is already in use and a service (NameNode, JobTracker, DataNode, TaskTracker, HTTP Server, etc.) tries to create a sort on that same port to listen for incoming requests.

Possible Causes

The port is in use (likeliest)
If the port number is below 1024, the OS may be preventing your program from binding to a "trusted port"
If the configuration is a hostname:port value, it may be that the hostname is wrong -or its IP address isn't one your machine has.
If the port is "0", then the OS is looking for any free port -so the port-in-use and port-below-1024 problems are highly unlikely to be the cause of the problem.

How to track down the problem

identify which port the program is trying to bind to
as root use netstat -a -t --numeric-ports -p to list the ports that are in use by number and process. (On OS/X you need to use lsof)
identify the port that is in use and the program that is in use
Make sure the hostname is valid:try to ping it; use ifconfig to list the network interfaces and their IP addresses.
try and identify why it is in use. telnet <hostname> <port> and pointing a web browser at it are both good tricks.
change the configuration of one of the programs to listen on a different port.

2015-05-22 13:57:32

点赞只看TA 引用举报 #2得分 0

⋅ORA-12514: TNS:listener does not currently know of service requested in connect 更多帖子 关注私信空间博客 bigdata121 等级 本版专家分：0: namenode1 在/etc/hosts中配的有问题吧

2015-05-25 18:17:50

点赞只看TA 引用举报 #3得分 0

⋅此用户还没有发表过任何帖子 关注私信空间博客 zuochanxiaohe... 等级 本版专家分：0: namenode1:8034，先看看8034端口是不是已经被占用，然后看看主机名namenode1的配置是不是正确

2015-05-27 20:16:20

点赞只看TA 引用举报 #4得分 0

收起

收藏回复

wwt1116

等级：

关注私信 TA的帖子

java多线程例子: 这里我们做一个完整的例子来说明线程产生的方式不同而生成的线程的区别： package debug;import java.io.*;import java.lang.Thread;class MyThread extends Thread{ public int x = 0; public void run(){ System....

基于TCP/IP的局域网多用户通信: 引言由于因特网的迅速流行，越来越多的应用程序...一般采用TCP/IP协议的应用程序只实现了单用户与服务器间点对点的连接，而本文在VC6.0的环境下，运用了了多线程以及共享数据结构技术，不仅实现了多用户与服务器间

多线程编程基础篇 (四): 在下面的说明中可能会有很多地方不能一下子明白,但在看完本节后,即使不能完全明白,你也一定要回过头来记住下面的两句话:[wait(),notify()/notityAll()方法是普通对象的方法(Object超类中实现),而不是线程对象的方法]...

某Java大佬在地表最强Java企业（阿里）面试总结: 面试题真的是博大精深，也通过这个面试题学到了很多东西，很多笔者也不是很懂，如有描述错误的地方还望大佬赐教 HashMap和Hashtable的区别 Hashtable继承自Dictionary类，而HashMap继承自AbstractMap类。但二者都...

关于事务并发、线程同步概念问题: 事务，是并发控制的单位，解决了多个客户端并发方式访问数据库，造成的并发...1，多个线程在操作共享的数据。多线程安全问题的解决办法：同步。 ============================================ 问题1：多

CSDN回帖得分大全（近两年）: √vs2005调用dll的时候Initialize()函数返回错误 [VC/MFC 基础类] 40 ylongwu 05-21 20:486 ylongwu06-28 13:42管理√为什么我创建登陆框之后，然后获取登陆框的数据时候总是出现非法操作！ [VC/MFC 界面] 40 ...

VC++ API实现串口通信: 【原文】http://dev.yesky.com/401/2308901.shtml

WEB开发文档2 总结: Microsoft IE WebControls下载地址如何在DATAGRID中使用JAVASCRIPT脚本控制 DataGrid中连接到下一页显示数据下载中文名

如何应对海量数据时代的挑战: 如何应对海量数据时代的挑战？大数据的浪潮有多迅猛？IDC在2006年估计全世界产生的数据量是0.18ZB（1ZB=100万PB），而今年这个数字已经提升了一个数量级，达到1.8ZB，差不多对应全世界每个人一块100多GB的硬盘。...

webmagic采集CSDN的Java_WebDevelop页面: 使用webmagic采集博客类的网站示例

MS-SQL Server 基础类 - SQL语句

Ceph论文译文--Ceph：一个可扩展，高性能分布式文件系统: 译者注：本文是出于作者对于ceph的兴趣，在开源...也欢迎交流赐教ceph与openstack知识，谢谢，微笑原文链接，想查看更多ceph论文， link为http://ceph.com/papers/ ，本译文未经许可不得用于任何商业用途，违者必究。

C/C++面试题大汇总: 最近因为找工作，收集了很多C语言方面方面的面试题以及答案。现在新工作搞定了，决定把这些资料发出来，送给有需要的朋友，免得再象...先发基本问题，再发编程问题..........想成为嵌入式程序员应知道的0x10个基本问题

IOCP进阶文4篇: 注：以下IOCP系列博文版权归网易博客 GameBaby 所有，转载请按如下方式显示标明原创作者及原文出处，以示尊重！！...撰写本文的目的就是为让大家能够在深入理解IOCP的基础上，再来深入的挖掘Windows系统的性

开源网络库boost.asio，libevent，mongoose学习记录以及多线程模式的实现: 目录 IO操作： IO多路复用（select，poll，epoll） select: poll: epoll: 异步IO（iocp，epoll） Libevent Boost.asio ... 等待数据准备好：对于一个套接口上的操作，这一步骤关系...

Linux多线程间同步与互斥---条件变量(Conditoin Variable): Linux多线程间同步与互斥---条件变量(Conditoin Variable)

C语言面试题大汇总: JavaScript 教程 static有什么用途？（请至少说明两种） 1.限制变量的作用域 2.设置变量的存储域 7. 引用与指针有什么区别？ 1) 引用必须被初始化，指针不必。 2) 引用初始化以后不能被改变，指针可以改变所指的...

C/C++笔试题（很多）: 微软亚洲技术中心的面试题！！！ 1．进程和线程的差别。 ...线程是指进程内的一个执行单元,也是进程内的可调度实体...(3)拥有资源：进程是拥有资源的独立单位，线程不拥有系统资源，但可以访问隶属于进程的资源. (4

高负载高并发网站架构分析: 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 ... ————————————————————————————...

c/c++笔试题: 与进程的区别:(1)调度：线程作为调度和分配的基本单位，进程作为拥有资源的基本单位(2)并发性：不仅进程之间可以并发执行，同一个进程的多个线程之间也可并发执行(3)拥有资源：进程是拥有资源的独立单位，线程不拥有...

java方法内调用方法,参数传递对象是否线程安全: 按自己的理解，线程执行，其中基本数据类型是放置于stack中，但引用堆中对象,当在方法中调用其他方法参数为对象时，是否每个对象针对线程唯一，是否线程安全，求赐教

C/C++基础知识点面试题: 一、虚函数的数据结构，如何工作？二、const与define的区别？三、指针与引用的区别？四、指针与数据的区别？五、不用临时变量实现两个变量的交换七、一个C++源文件从文本到可执行文件经历的过程八、C++...

Linux下的C编程实战: Linux下的C编程实战 ...Linux操作系统在服务器领域的应用和普及已经有较长的历史，这源于它的开源特点以及其超越Windows的安全性和稳定性。...Linux操作系统在嵌入式系统领域的延伸也可谓是如日中天，许多版本的...

黑客入门完整版教程: 第一篇完整性质的黑客教程。

[转]高负载并发网站架构分析: 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。... 初创网站与开源软件 6 ? 谈谈大型高负载网站服务器的优化心得!...

JSP安全编程实例浅析: Java Server Page（JSP）作为建立动态网页的技术正在不断升温。...一般说来，JSP页面在执行时是编译式，而不是解释式的。首次调用JSP文件其实是执行一个编译为Servlet的过程。当浏览器向服务器请求这一个JSP文件的时候...

大并发量,大数据量基于SSH应用程序架构有关问题: 但是目前情况不理想，我对系统级架构都是在钻研期间，下面是自己查的总结，但还是不怎么理想，各位熟悉的敬请赐教 1. 对于应用程序级，在SSH框架中，性能优化的措施有： 1）节省事务占用内存，通过AOP分配不同...

程序员的20个常见瓶颈: 在扩展性的艺术一书中，Russell给出了20个有意思的估计：大约有20个经典瓶颈... 数据规模超出了最大内存限制 2. 大查询和小查询 3. 写写冲突 4. 大表join超占内存 * Virtualization （虚拟化） 1. 共

打通Linux脉络系列：进程、线程和调度: 本课程分成4个组成部分，每次课60分钟，每次课后留下3-4个练习题，可以在Linuxer公众号留言讨论答案和做题心得。第一部分：深入彻底搞清楚进程生命周期，进程生命周期创建、退出、停止、以及僵尸是个什么意思；第二部分：深入分析进程创建的写时拷贝技术、以及Linux的线程究竟是怎么回事（为什么称为轻量级进程），此部分也会搞清楚进程0、进程1和托孤，以及睡眠时的等待队列；第三部分：搞清楚Linux进程调度算法，不同的调度策略，实时性，完全公平调度算法；第四部分：讲解Linux多核下CPU、中断、软负载均衡、cgroups调度算法以及Linux为什么不是一个实时操作系统。掌握Linux脉络知识：进程、线程和调度。

微信小程序源码-合集6.rar: 微信小程序源码，包含：图片展示、外卖点餐、小工具类、小游戏类、演绎博览、新闻资讯、医疗保健、艺术生活等源码。

相关热词 c# 模拟登陆亚马逊 c#设计游戏大鱼吃小鱼 c# dock顺序 vs c#飞机大战游戏编程代码 c# mvc 返回ef c# xml序列化加密 c# zxing生成 c# 关闭时隐藏子窗口 c# 串口数据错乱 c#ui界面设计