社区
云存储
帖子详情
怎么让配置HA的hadoop启动时启动固定的namenode
zjxcsdn3069
2017-08-14 08:40:42
hadoop2.6配了高可用,但是启动时namenode是随机active的,有没有办法启动hadoop时能指定固定的namenode,挂了才启用备用namenode
...全文
757
回复
打赏
收藏
怎么让配置HA的hadoop启动时启动固定的namenode
hadoop2.6配了高可用,但是启动时namenode是随机active的,有没有办法启动hadoop时能指定固定的namenode,挂了才启用备用namenode
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
高可用性的HDFS:
Ha
doop
分布式文件系统深度实践
第1章 HDFS
HA
及解决方案 1.1 HDFS系统架构 1.2
HA
定义 1.3 HDFS
HA
原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS
HA
解决方案 1.4.1
Ha
doop
的元数据备份方案 1.4.2
Ha
doop
的SecondaryName
Node
方案 1.4.3
Ha
doop
的Checkpoint ode方案 1.4.4
Ha
doop
的Backup
Node
方案 1.4.5 DRDB方案 1.4.6 FaceBook的Avatar
Node
方案 1.5 方案优缺点比较 第2章 HDFS元数据解析 2.1 概述 2.2 内存元数据结构 2.2.1 I
Node
2.2.2 Block 2.2.3 BlockInfo和Data
node
Descriptor 2.2.4 小结 2.2.5 代码分析——元数据结构 2.3 磁盘元数据文件 2.4 Format情景分析 2.5 元数据应用场景分析 第3章
Ha
doop
的元数据备份方案 3.1 运行机制分析 4 3.1.1 Name
Node
启动
加载元数据情景分析 3.1.2 元数据更新及日志写入情景分析 3.1.3 Checkpoint过程情景分析 3.1.4 元数据可靠性机制 3.1.5 元数据一致性机制 3.2 使用说明 第4章
Ha
doop
的Backup
Node
方案 4.1 Backup
Node
概述 4.1.1 系统架构 4.1.2 使用原则 4.1.3 优缺点 4.2 运行机制分析 4.2.1
启动
流程 4.2.2 元数据操作情景分析 4.2.3 日志池(journal spool)机制 4.2.4 故障切换机制 4.3 实验方案说明 4.4 构建实验环境 4.4.1 网络拓扑 4.4.2 系统安装及
配置
4.4.3 安装JDK 4.4.4 虚拟机集群架设 4.4.5 Name
Node
安装及
配置
4.4.6 Backup
Node
安装及
配置
4.4.7 Data
Node
安装及
配置
4.4.8 Clients安装及
配置
4.5 异常解决方案 4.5.1 异常情况分析 4.5.2 Name
Node
配置
4.5.3 Backup
Node
配置
4.5.4 Data
Node
配置
4.5.5 Name
Node
宕机切换实验 4.5.6 Name
Node
宕机读写测试 第5章 Avatar
Node
运行机制 5.1 方案说明 5.1.1 系统架构 5.1.2 思路分析 5.1.3 性能数据 5.2 元数据分析 5.2.1 类FSNamesystem 5.2.2 类FSDirectory 5.2.3 Avatar
Node
的磁盘元数据文件 5.3 Avatar
Node
Primary
启动
过程 5.4 Avatar
Node
Standby
启动
过程 5.4.1 Avatar
Node
的构造方法 5.4.2 Standby线程的run()方法 5.4.3 Ingest线程的run()方法 5.4.4 Ingest线程的ingestFSEdits ()方法 5.4.5 Standby线程的doCheckpoint()方法 5.5 用户操作情景分析 5.5.1 创建目录情景分析 5.5.2 创建文件情景分析 5.6 Avatar
Node
Standby故障切换过程 5.7 元数据一致性保证机制 5.7.1 元数据目录树信息 5.7.2 Data
Node
与Block数据块映射信息 5.8 Block更新同步问题 5.8.1 问题描述 5.8.2 结论 5.8.3 源码分析 第6章 Avatar
Node
使用 6.1 方案说明 6.1.1 网络拓扑 6.1.2 操作系统安装及
配置
6.2 使用Avatar打补丁版本 6.2.1
Ha
doop
源码联机Build 6.2.2
Ha
doop
源码本地Build 6.2.3 NFS服务器构建 6.2.4 Avatar分发与部署 6.2.5 Primary(name
node
0)节点
配置
6.2.7 Data
Node
节点
配置
6.2.8 Client节点
配置
6.2.9 创建目录 6.2.10 挂载NFS 6.2.11
启动
Ucarp 6.2.12 格式化 6.2.13 系统
启动
6.2.14 检查 6.2.15 Name
Node
失效切换写文件实验 6.2.16 Name
Node
失效切换读文件实验 6.3 Avatar FaceBook版本的使用 6.3.1
Ha
doop
FaceBook版本安装 6.3.2 节点
配置
6.3.3
启动
HDFS 6.3.4 Name
Node
失效切换 第7章 Avatar
Node
异常解决方案 7.1 测试环境 7.2 Primary失效 7.2.1 解决方案 7.2.2 写操作实验步骤 7.2.3 改进写操作机制 7.2.4 读操作实验步骤 7.2.5 小结 7.3 Standby失效 7.4 NFS失效(数据未损坏) 7.4.1 解决方案 7.4.2 写操作实验步骤 7.4.3 读操作实验步骤 7.4.4 小结 322 7.5 NFS失效(数据已损坏) 7.5.1 解决方案 7.5.2 写操作实验步骤 7.5.3 读操作实验步骤 7.5.4 小结 7.6 Primary先失效,NFS后失效(数据未损坏) 7.6.1 解决方案 7.6.2 写操作实验步骤 7.6.3 读操作实验步骤 7.6.4 小结 7.7 Primary先失效(数据未损坏),NFS后失效(数据损坏) 7.7.1 解决方案 7.7.2 写操作实验步骤 7.7.3 读操作实验步骤 7.7.4 小结 7.8 NFS先失效(数据未损坏),Primary后失效 7.8.1 解决方案 7.8.2 写操作实验步骤 7.8.3 读操作实验步骤 7.8.4 小结 7.9 NFS先失效(数据损坏),Primary后失效(数据损坏) 7.9.1 解决方案 7.9.2 写操作实验步骤 7.9.3 读操作实验步骤 7.9.4 小结 7.10 实验结论 第8章 Cloudera
HA
Name
Node
使用 8.1
HA
Name
Node
说明 8.2 CDH4B1版本HDFS集群
配置
8.2.1 虚拟机安装 8.2.2 nn1
配置
8.2.3 dn1~dn3
配置
8.2.4 HDFS集群构建 8.3
HA
Name
Node
配置
8.3.1 nn1
配置
8.3.2 其他节点
配置
8.4
HA
Name
Node
使用 8.4.1
启动
HA
HDFS集群 8.4.2 第1次failover 8.4.3 模拟写操作 8.4.4 模拟Active Name
Node
失效,第2次failover 8.3.5 模拟新的Standby Name
Node
加入 8.5 小结
HA
DOOP
HA
之Name
Node
HA
集群
配置
与应用
HA
DOOP
HA
之Name
Node
HA
集群
配置
与应用[超详细],包括常见问题以及解决方法
Ha
doop
大数据从入门到精通
Ha
doop
分布式文件系统(HDFS)和MapReduce的工作原理 如何优化
Ha
doop
机群所需要的硬件
配置
搭建
Ha
doop
机群所需要考虑的网络因素 如何利用
Ha
doop
配置
选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障
Ha
doop
机群维护和监控 如何使用Flume从动态生成的文件加载数据到
Ha
doop
2021-11-03
ha
doop
Name
Node
启动
ps: 本文参考
ha
doop
-3.3.0 1 Name
Node
简介 name
node
是
ha
doop
架构中最重要的角色之一,Name
Node
主要管理管理着名称空间表(文件名与block的映射,存储在磁盘上且十分重要)和i
node
s表(块与机器的映射,只要name
node
出现就会存在),通常情况下一个集群中有且仅有一个活跃的Name
Node
,从
Ha
doop
2开始,为了保证集群中的高可用,可以
配置
两个name
node
,一个active另一个为standby。但这种情况下,当集群规模达到一定程度时,nameno
Ha
doop
HA
——name
node
无法
启动
问题解决
今天按照之前《
Ha
doop
2.6.0 + zookeeper集群环境搭建 》一文重新搭建了
Ha
doop
2.7.2+zookeeper的
HA
,实现name
node
挂掉后可以自动切换,总体来说还算比较顺利。搭建完成后一切正常!但是!第二天重新
启动
集群的时候出现问题:两个name
node
有一个始终
启动
不了!,具体问题描述如下: 问题描述
HA
按照规划
配置
好,
启动
后,NameNod
云存储
932
社区成员
652
社区内容
发帖
与我相关
我的任务
云存储
云计算 云存储相关讨论
复制链接
扫一扫
分享
社区描述
云计算 云存储相关讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章