hadoop配置高可用求助

大白萝卜a 2018-08-15 09:57:49

在配置高可用的时候一个namenode节点要先初始化，然后另一个namenode去同步，那么集群原有的数据不就没了吗，请问如何在不丢失数据的情况下配置高可用，一定需要在配置前把数据导出到本地备份吗

...全文

273 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

verejava 2018-08-20

打赏
举报

回复

RPC 微分布式远程调用框架

http://www.verejava.com/?id=1756827901192

前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源码，有时会向同事、网友请教，遇到复杂问题则会通过mail list向全球各地Hado

Hadoop 求助编辑百科名片 Hadoop示意图一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉

1、什么是Zookeeper Broadcast模式极其类似于分布式事务中的2pc（two-phrase commit 两阶段提交）：即leader提起一个决议，由followers进行投票，leader对投票结果进行计算决定是否通过该决议，如果通过执行该决议（事务），否则什么也不做。首先看一下选举的过程，zk的实现中用了基于paxos算法（主要是fastpaxos）...

在CDH5.12搭建完成之后NameNode的Web UI 50070 访问不了。遇到这个其实不难解决！首先一定确保hadoop搭建无误。 1.检查防火墙状态 systemctl status firewalld 查看状态 systemctldisablefirewalld永久关闭查看服务器 /etc/hosts中的 IP和主机名映射--(我是公网.........

据估量，到2015年，全世界一半以上的数据将涉及Hadoop--围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。　　然而，有些人表示，虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中央和数据治理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想推测这个平台未来会怎样，也不想推测彻底改变种种数据麋集型解决方案的开源技术未来会怎样，而是关注让Ha

Hadoop生态社区

20,809

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章