更换hadoop的namenode节点会不会导致数据丢失

zhouyuqin3510 2012-11-21 02:25:37

今天头给了台新服务器，想让我把hadoop的namenode，还有hbase的master转到上面，可是hdfs中有数据，在这里问一下，这样更改会不会导致hdfs中数据丢失

...全文

401 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

rucypli 2012-11-25

打赏
举报

回复

直接当新的datanode加进去

furanger 2012-11-22

打赏
举报

回复

不知道 ,应该不会吧直接copy hadoop目录 namenode目录　和PID到新机器上,配上hosts? 应该可以吧,有作过这种操作的来说说^_^?

1、Ambari的工作原理与架构 2、安装与部署Ambari 3、通过Ambari部署一个Hadoop3.x集群 4、通过Ambari扩容hadoop集群节点 5、通过Ambari在hadoop集群中新增hive/hbase/tez服务组件 6、通过Ambari在hadoop中新增spark...

hdfs的namenode元数据是存储在硬盘上的，但是断电可能会造成元数据丢失，发生数据丢失以后，可以采取以下方法对数据进行恢复。先format namenode： hadoop namenode –format 然后把SNameNode上的${SecondaryNameNode Checkpoint directories}路径下所有文件远程拷贝到NameNode的${NameNode...

1、重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题； 2、先删除主节点（即namenode节点），Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容（注意是删除目录下的内容不是目录）； 3、删除所有数据节点(即datanode节点) ，Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容； 4、格式化一个新的分布式文件系

NameNode详解管理DataNode和记录元数据Meta 元数据包含： a. 记录数据的虚拟存储路径 b. 记录文件的切块数量 c. 记录数据块的存储位置 d. 记录数据块的复本数量 e. 记录文件权限元数据的大小是在150B左右 NameNode将元数据维系在内存以及磁盘中元数据维系在内存中的目的是为了快速查询元数据维系在磁盘中的目的是为了崩溃恢复元数据的存储位置是由hadoop.tmp.dir属性决定，如果不配置则默认使用/tmp 元数据在磁盘中是以edits文件和fsimage

前言格式化NameNode后集群的数据会全部丢失，格式化之前需做好数据备份工作。格式化步骤格式化之前，首先需删除Hadoop系统日志，默认路径为${HADOOP_HOME}/logs。然后删除主节点目录以及数据节点目录，默认路径分别为${hadoop.tmp.dir}/dfs/name和${hadoop.tmp.dir}/dfs/data。hadoop.tmp.dir默认值是/tmp/hadoop-${user.name}，可以在core-site.xml配置文件中的hadoop.tmp.dir属

Hadoop生态社区

20,809

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章