ZKFC 和 RMStateStore

Dlimeng
优质创作者: 人工智能技术领域
领域专家: 大数据技术领域
2022-11-11 17:15:55

• 和 HDFS HA 的 ZKFC 不同，这里的 ZKFC 是 RM 内部的一个线程

• ZKFC 线程定期向 zk 发送心跳

• RMStateStore 存储在 zk 的 /rmstore 目录下，相当于一个文件夹

• RM 将状态写入 RMStateStore 中

 

...全文
30 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
hdfs整理
保证nn1和nn2的元数据信息一致 zkfc ZooKeeperFailoverController, 是Hadoop中通过ZK实现FC功能的一个实用工具。作为一个ZK集群的客户端，用来监控NN的状态信息。 每个运行NN的节点必须要运行一个zkfc 监控NN的健康...
Yarn HA
Yarn HA 和HDFS HA 一样为了解决单点故障问题 架构 各个组件的作用 ZKFC: zkfc,只作为RM进程的一个线程而非独立的守护进程来独立存在 RMStateStore:: .RM把job信息存在在ZK的/rmstore下，activeRM会向这个目录写...
zookeeper和hadoop集群（伪分布式）
NM hadoop003: zk NM 相关知识： 1.DN(数据存储)和NM(计算)部署在同一台: 数据本地化 减少网络消耗，让计算更加的快 2.ZKFC是线程 3.RMStateStore: 在ZK 4.元数据存储在/rmstore 在zk上 6. 集群部署 6.1配置多台互相...
Hadoop架构基本介绍
RMStateStore:存储在zk的/rmstore目录 存储rm的状态。activeRM会向这个目录写application信息，当activeRM挂了，另一个standbyRM通过zkfc选举成功为active，会从/rmstore读取相应的作业信息，重新构建作业的内存信息...
【若泽大数据高级第三天】--基于阿里云的YARN HA架构
文章目录YARN HA 架构架构图进程部署情况 YARN HA 架构 架构图 进程部署情况 ...RM(zkfc) ...RM(zkfc) ...ZKFC在hdfs HA 中式一个单独的进程，但是在YARN的HA中，zkfc是RM进程中的一个线程 RMStateStore()：...
AI大模型

12,271

社区成员

1,252

社区内容

发帖
与我相关
我的任务
社区描述
有大数据和AI的故事
大数据人工智能开源 个人社区 天津·武清区
社区管理员
  • 李孟聊人工智能
  • Somnus_小凯
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章