6台机器，搭建hadoop jdk，zookeeper；分别为 01,02 master 03 ResourceManager 04,05,06 databno

weixin_42026023 2018-04-19 11:30:23
6台机器，搭建hadoop jdk，zookeeper；分别为
01,02 master
03 ResourceManager
04,05,06 databnode nodemanage
slave文件配置了 04,05,06
01启动start-dfs.sh可以启动02 namenode，04,05,06的datanode
03启动start-yarn.sh启动了03 ResourceManager 04,05,06的nodemanage

但是浏览01的hadoop管理界面看不到datanode
给hdfs上传文件报错，报错的意思就是没有可用的datanode
六台虚拟机均已关闭防火墙，网上各种方式都用过没有解决。
请大牛伸出援手6台机器，搭建hadoop jdk，zookeeper；分别为
01,02 master
03 ResourceManager
04,05,06 databnode nodemanage
slave文件配置了 04,05,06
01启动start-dfs.sh可以启动02 namenode，04,05,06的datanode
03启动start-yarn.sh启动了03 ResourceManager 04,05,06的nodemanage

但是浏览01的hadoop管理界面看不到datanode
给hdfs上传文件报错，报错的意思就是没有可用的datanode
六台虚拟机均已关闭防火墙，网上各种方式都用过没有解决。
请大牛伸出援手6台机器，搭建hadoop jdk，zookeeper；分别为
01,02 master
03 ResourceManager
04,05,06 databnode nodemanage
slave文件配置了 04,05,06
01启动start-dfs.sh可以启动02 namenode，04,05,06的datanode
03启动start-yarn.sh启动了03 ResourceManager 04,05,06的nodemanage

但是浏览01的hadoop管理界面看不到datanode
给hdfs上传文件报错，报错的意思就是没有可用的datanode
六台虚拟机均已关闭防火墙，网上各种方式都用过没有解决。
请大牛伸出援手
...全文
828 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
hadoop2.4.1三台机器分布式安装
集群规划： 主机名 IP 安装的软件 运行的进程 weekend01 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend02 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) weekend03 192.168.1.203 jdk、hadoop ResourceManager weekend04 192.168.1.204 jdk、hadoop ResourceManager weekend05 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain weekend06 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain weekend07 192.168.1.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain 说明： 1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务 仅同步active namenode的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据 信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态 2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个 是Standby，状态由zookeeper进行协调
Linux-Hadoop配置实现（笔记）
主机名 IP地址 安装的软件 运行的进程 Master 192.168.75.140 jdk,Hadoop, ,zookeeper namenode,resourcemanager,zkfc Node2 192.168.75.128 jdk,Hadoop, ,zookeeper namenode, datanode,zkfc, journalnode Slave1 192.168.75.141 jdk,Hadoop, ,zookeeper datanode,nodemanager,journalnode Slave2 192.168.75.142 jdk,hadoop datanode,nod
从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（01）——Hadoop
博主将用四篇博客详细讲解如何从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境，本篇主要为搭建Hadoop集群 前期准备 安装包： 新建一个虚拟机(使用VMtools将虚拟机时间和主机时间同步) 将新建software根目录，将jdk、hadoop、hadoop-native、hive、hbase、zookeeper、mysql和java连接数据库jar包引入software目录下 将jdk、hadoop、hive、hbase、zookeeper解压到opt目录下 hadoop-
hadoop分布式搭建（+zookeeper，6台机器）
前期准备（这里使用的centOS6，hadoop2.2.0【这是64位的hadoop2.2.0的安装包和源码包下载地址：http://download.csdn.net/detail/vinsuan1993/9812599】）： 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 ######注意######如果是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等
hadoop3.2+zookeeper集群搭建
hadoop3.2集群搭建 版本选择 JDK：jdk1.8.0_141 zookeeper：apache-zookeeper-3.5.9 hadoop：hadoop-3.2.3 我这里是本机虚拟机搭建，使用三个节点，分别是node01、node02、node03
community_281

594

社区成员

254,047

社区内容

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛（原bbs）
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章