社区
Hadoop生态社区
帖子详情
active namenode的editsLog先写到JournalNode还是先写到本地?写到本地的作用是什么?
相见恨晚xyh
2017-11-01 09:42:30
我在启动集群的时候发现,查看webui,active namenode加载完fsimage之后,并不会加载本地editsLog,而是加载JournalNode上的editsLog,那么写本地的意义何在?忘大神解惑下。
...全文
531
2
打赏
收藏
active namenode的editsLog先写到JournalNode还是先写到本地?写到本地的作用是什么?
我在启动集群的时候发现,查看webui,active namenode加载完fsimage之后,并不会加载本地editsLog,而是加载JournalNode上的editsLog,那么写本地的意义何在?忘大神解惑下。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
不写程序只算命。
2018-07-26
打赏
举报
回复
是先写到JNS中,在写到本地中的,可以在代码中看到。
大数据开发技术.pdf
FC 也有 选择谁作为
Active
NN 的权利,因为最多只有两个节点,目前选择策略 还比较简单(先到先得,轮换)7.
Journal
Node
高可用情况下存放 name
node
的
edit
log
文件. 在 CentOS 环境下,按照伪分布方式安装和配置 ...
HDFS HA 场景下Name
Node
journal
node
数据损坏以及故障恢复
HDFS HA 场景下Name
Node
故障恢复 问题描述: 提示:这里描述项目中遇到的问题: 例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据 APP 中接收数据代码: @Override public void run() { bytes...
HadoopHA 中
Journal
Node
作用
在hadoopHA中两个name
node
节点为了数据同步会通过
Journal
node
相互通信。
Journal
Node
存储管理
Edit
s
Log
,俩个name
node
共享这个
Edit
s
Log
,两个Name
Node
都...但
Edit
s
Log
只有
Active
状态的Name
Node
节点可以做
写
操作; ...
检查点机制,Fsimage与
Edit
log
的合并过程理解
edit
log
:文件系统的
写
操作首先把它记录在
edit
log
中。 检查点机制:定时将fsimage和
edit
log
合并并产生新的fsimage的过程,这一过程非常耗费cpu和IO,一般放在Secondary Name
node
(非HA)和Standby Name
node
(HA)中...
浅谈HDFS的fsimage、
edit
log
与SecondaryName
Node
HDFS SecondaryName
Node
是干什么的? 这是道经典的基础面试题,笔者问过面试者很多次(当然也被面试官问过很多次)。从印象看,大约有一半的被面试者无法正确作答,给出的答案甚至有“不就是Name
Node
的热备嘛”。...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章