联邦hdfs和hdfs有什么区别?

winfield0821 2015-12-22 06:02:02

联邦hdfs和hdfs有什么区别?

...全文

406 2 打赏收藏举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

沧海_Sea 2015-12-23

打赏
举报

回复

就楼上那意思联邦其实相当于部署了多个集群，然后这些集群的datanode是相同的，每个namenode存储不同的元数据

悠悠-我心 2015-12-22

打赏
举报

回复

namenode相当于火车站的售票口，所有站内的火车车厢就相当于多个datanode，当售票口只有一个点时（窗口可以有多个），相当于hadoop1.x，整个火车站的运力受限于当售票口的售票情况，在节假日时也会出现买票排长队的情况，若这时售票系统宕机了，整个火车站的运力就会大打折扣；为了缓解当前情况，只有多增加些售票点，相当于hadoop2.x中的HDFS联邦，这样在一定程度上就能解决这种问题；

hadoop1.x的hdfs架构主要由namespace（命名空间）和Block Storage（块的存储）两层组成单个namenode限制了性能。 hadoop HDFS联邦架构联邦HDFS是namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。联邦HDFS允许每个namenode管理文件系统命名空间的一部分。每个namenode维护一个命名空间，不同namenode之间的命名空间相互独立。数据块池不再切分，所以每个DataNode需要注册到每个n

大数据技术基础学习笔记，本篇简要介绍了分布式存储系统HDFS。

背景分布式文件系统中( HDFS，Hadoop Distributed File System )，NameNode在内存中存储着整个文件系统的元数据信息，如文件数据块的地址映射、文件系统的命名空间、文件操作权限等。倘若NameNode节点主机一旦宕机，整个集群即将瘫痪，因此应采用高可用（HA）+联邦机制（Federation）的部署方案搭建集群。高可用的Hadoop集群在搭建Hadoop集群时，通常需要搭建多个NameNode，这样可以保证如果其中一个NameNode发生宕机，另一个NameNod

前言 HDFS分布式文件系统即Hadoop Distributed Filesystem，采用master/slave架构，具有可靠性、可用性和扩展性，这也是分布式系统的三个关键指标。一、HDFS架构 HDFS的架构主要：基本框架、读写流程、高可用、压缩系列化5个方面...

一、数据与元数据的区别以块形式存储是目前最常用的一种数据存储方式，我们在进行数据存储时，使用的是元数据加数据的形式，元数据相当于是数据的一个摘要信息，保存着文件的属性、长度、存储位置、类型等信息，类似于字典中的索引和正文的关系，数据块作为文件存储的最小的单位，对存储区域进行了区域划分，在写入数据时按需分配。我们可以按照字典的方式进行类比：文件系统就相当于是字典，元数据相当于索引...

Hadoop生态社区

20,843

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章