HDFS的副本数为什么为3？

wocawuliao 2016-05-14 07:37:19

HDFS的副本数为什么为3，为什么不是2或者是4那？

...全文

1281 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

逍遥_幻月 2016-06-25

打赏
举报

回复

默认为三但是可以修改

追梦码农 2016-06-22

打赏
举报

回复

副本数3 是数据可靠性和成本综合考虑的结果。

tianfang 2016-06-22

打赏
举报

回复

奇数方便表决

镜中夜 2016-06-21

打赏
举报

回复

在安装配置hadoop时，设置hdfs-site.xml时指定的保存的镜像数 <property> <name>dfs.replication</name> <value>3</value> </property>

Q-WHai 2016-06-17

打赏
举报

回复

默认的而已，可以自己设置啊。默认的 3 是两个在同一个机架，另一个在另一个机架。所以 3 是保证了足够的冗余下最小的备份数。

HDFS的副本数为什么为3？副本数为3，每一个block都要存3份，那多的2份都是冗余的啦只有一个节点，所有block以及其备份全都存在该节点上，若那个节点数据盘只使用一块硬盘，所有数据都在一块硬盘上，硬盘坏了，数据也就全丢了，多副本完全起不到备份的作用，而且HDFS的性能肯定也奇差无比，甚至存的数据量稍微大一点，DataNode就挂了。Hadoop的HDFS是不是云存储？HDFS是Hadoop...

一、HDFS数据副本概念： HDFS数据副本存放策略，副本的存放是HDFS可靠性和高性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。 HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性，观察它的行为，为实现更先进的策略打下测试和研究的基础。大型HDFS集群系统往往运行在跨越多个机

1.现象 CDH界面 HDFS出现爆红项，查看详情发现是副本数不足导致的，如下： HDFS和 CDH版本：2.6.0+cdh5.15.1+2822 2.分析报错是很明确的：接近 99%的 hdfs块副本缺失。默认情况下 hdfs的副本一般是3个，要求至少有3个 DataNode。出问题的集群是一个测试集群，之前一共有 3台机器，最近由于一台机器故障，现在集群只剩 2台机器了，问题应该就出在这里了。明确一下问题的原因：集群现有的机器数量不满足 3个 DataNode的要求，故导致副本数不足。

HDFS采用一种称为机架感知的策略来改进数据的可靠性、可用性和网络带宽的利用率。在大多数情况下，HDFS的副本系数是3，HDFS的存放策略是一个副本存放在本地机架节点上，另一个副本存放在同一机架的另一个节点上，第三个副本存放在在不同机架的节点上。这种策略减少了机架间的数据传输，提高了写操作的效率。机架错误的概率远比节点错误的概率小，所以这种策略不会对数据的可靠性和可用性造成影响。与此同时，因为...

最后我们发现缩小副本数后，某些数据节点的磁盘占用下降巨大。它检查文件系统的元数据，验证文件和目录的完整性，并报告它发现的任何不一致或错误。在HADOOP的hdfs-site.xml中找到dfs.replication项，修改为2，分发同步到集群各个节点后，重启HDFS。其中/dw是指定的路径,也就是你需要将那个路径三副本变为2副本，-R参数则表示包含子目录。2、但这样只能保证新写入的块副本数变为2，原有块仍然是3副本，因此还需要执行命令。考虑到成本问题我们选择了暂时性的解决的方案减小副本数。

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章