active namenode的editsLog先写到JournalNode还是先写到本地？写到本地的作用是什么？

相见恨晚xyh 2017-11-01 09:42:30

我在启动集群的时候发现，查看webui，active namenode加载完fsimage之后，并不会加载本地editsLog，而是加载JournalNode上的editsLog，那么写本地的意义何在？忘大神解惑下。

...全文

532 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

不写程序只算命。 2018-07-26

打赏
举报

是先写到JNS中，在写到本地中的，可以在代码中看到。

在 HDFS 中，NameNode 的主要功能是什么？ 1 我们把目录结构及文件分块位置信息叫做元数据。Namenode 负责维护整个 hdfs 文件系统的目录树结构，以及每一个文件所对应的 block 块信息（block 的 id，及所在的 datanode 服务器）。 2 Namenode 节点负责确定指定的文件块到具体的 Datanode 结点的映射关系。在客户端与数据节点之间共享数据 3 管理 Datanode 结点的状态报告，包括 Datanode 结点的健康状态报告和其所在结点上数据块状态报告，以便能够及时处理失效的数据结点。 NameNode 与 SecondaryNameNode 的区别与联系？ 1. NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。2．SecondaryNameNode 主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 1.SecondaryNameNode 中保存了一份和 namenode 一致的镜像文件（fsimage）和编辑日志（edits）。2.在主 namenode 发生故障时（假设没有及时备份数据），可以从 SecondaryNameNode HDFS 读数据流程？ 1. 跟 namenode 通信查询元数据，找到文件块所在的 datanode 服务器 2.挑选一台 datanode（就近原则，然后随机）服务器，请求建立 socket 流 3.datanode 开始发送数据（从磁盘里面读取数据放入流，以 packet 为单位来做校验）4.客户端以 packet 为单位接收，先在本地缓存，然后写入目标文 Hadoop 集群中 Hadoop 需要启动哪些进程，它们的作用分别是什么? 1.NameNode 它是 hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有 metadate 。 2．SecondaryNameNode 它不是 namenode 的冗余守护进程，而是提供周期检查点和清理任务。帮助 NN 合并 editslog，减少 NN 启动时间。3．DataNode 它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个 datanode 守护进程。 4．ResourceManager（JobTracker） JobTracker 负责调度 DataNode 上的工作。每个 DataNode 有一个 TaskTracker，它们执行实际工作。5．NodeManager（TaskTracker）执行任务 6．DFSZKFailoverController 高可用时它负责监控 NN 的状态，并及时的把状态信息写入 ZK。它通过一个独立线程周期性的调用 NN 上的一个特定接口来获取 NN 的健康状态。FC 也有选择谁作为 ActiveNN 的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）7．JournalNode 高可用情况下存放 namenode 的 editlog 文件. 在 CentOS 环境下，按照伪分布方式安装和配置 Hadoop 平台的主要过程。 1. hadoop 安装包下载 2、hadoop 安装包解压 3、hadoop 伪分布式环境搭建环境搭建步骤如下：1、将 hadoop 安装目录添加到系统环境变量（～/.bash_profile）2、配置 hadoop 环境的配置文件 hadoop-env.sh3、配置 hadoop 核心文件 core-site.xml4、配置 HDFS 文件 hafs-site.xml Mapreduce 中，Partitioner 操作的作用？ MapReduce 提供 Partitioner 接口，它的作用就是根据 key 或 value 及 reduce 的数量来决定当前的这对输出数据最终应该交由哪个 reduce task 处理。默认对 key hash 后再以 reduce task 数量取模。默认的取模方式只是为了平均 reduce 的处理能力，如果用户自己对 Partitioner 有需求，可以订制并设置到 job 上。 HDFS 中的写数据流程。 (1) Client 向 NameNode 发起文件写入的请求。 (2) NameNode 根据文件大小和文件块配置情况,返回给 Client 它所管理部分 DataNode 的信息。 (3) Client 将文件划分为多个 Block,根据 DataNode 的地址信息,按顺序写入到每一个 DataNode

项目场景： HDFS HA 场景下NameNode故障恢复问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToT

课程特点： 1、全程案例贯穿始终，几乎每个知识点都有配套的案例； 2、整个框架深入源码讲解； 3、优化措施全部来源于企业开发； 4、Hadoop相关企业真题全覆盖。本课程中你将学习到，Hadoop完全分布式集群搭建、Hadoop源码编译、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS读写数据流程、NameNode和SecondaryNameNode工作机制、DataNode工作机制、集群节点动态服役和退役、HDFS2.x新特性、MapReduce编程规范、自定义序列化、自定义InputFormat、自定义OutputFormat、分区、排序、合并、分组、ReduceJoin、MapJoin、数据清洗、计数器、TopN案例、倒排索引案例、MapTask工作机制、ReduceTask工作机制、Shuffle工作机制、MapReduce工作流程、Job提交流程源码、MapReduce源码、数据压缩、Yarn工作机制、作业提交流程、YARN资源调度器、MapReduce企业优化、HDFS小文件企业优化、数据倾斜优化等。

在hadoopHA中两个namenode节点为了数据同步会通过Journalnode相互通信。JournalNode存储管理EditsLog,俩个namenode共享这个EditsLog,两个NameNode都可以读取Edits；但EditsLog只有Active状态的NameNode节点可以做写操作； ...

fsimage文件：即命名空间映像文件，是内存中的元数据在硬盘上的checkpoint，包含文件系统中的所有目录和文件inode的序列化信息。 editlog：文件系统的写操作首先把它记录在editlog中。检查点机制：定时将fsimage和editlog合并并产生新的fsimage的过程，这一过程非常耗费cpu和IO，一般放在Secondary Namenode（非HA）和Standby Namenode（HA）中完成。（一）secondary namenode执行检查点操作（非HA）： sec

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章