HDFS的副本数为什么为3？

wocawuliao 2016-05-14 07:37:19

HDFS的副本数为什么为3，为什么不是2或者是4那？

...全文

1284 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

逍遥_幻月 2016-06-25

打赏
举报

回复

默认为三但是可以修改

追梦码农 2016-06-22

打赏
举报

回复

副本数3 是数据可靠性和成本综合考虑的结果。

tianfang 2016-06-22

打赏
举报

回复

奇数方便表决

镜中夜 2016-06-21

打赏
举报

回复

在安装配置hadoop时，设置hdfs-site.xml时指定的保存的镜像数 <property> <name>dfs.replication</name> <value>3</value> </property>

Q-WHai 2016-06-17

打赏
举报

回复

默认的而已，可以自己设置啊。默认的 3 是两个在同一个机架，另一个在另一个机架。所以 3 是保证了足够的冗余下最小的备份数。

HDFS的副本数为什么为3？副本数为3，每一个block都要存3份，那多的2份都是冗余的啦只有一个节点，所有block以及其备份全都存在该节点上，若那个节点数据盘只使用一块硬盘，所有数据都在一块硬盘上，硬盘坏了，数据也就全丢了，多副本完全起不到备份的作用，而且HDFS的性能肯定也奇差无比，甚至存的数据量稍微大一点，DataNode就挂了。Hadoop的HDFS是不是云存储？HDFS是Hadoop...

一、HDFS数据副本概念： HDFS数据副本存放策略，副本的存放是HDFS可靠性和高性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。 HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性，观察它的行为，为实现更先进的策略打下测试和研究的基础。大型HDFS集群系统往往运行在跨越多个机

1.现象 CDH界面 HDFS出现爆红项，查看详情发现是副本数不足导致的，如下： HDFS和 CDH版本：2.6.0+cdh5.15.1+2822 2.分析报错是很明确的：接近 99%的 hdfs块副本缺失。默认情况下 hdfs的副本一般是3个，要求至少有3个 DataNode。出问题的集群是一个测试集群，之前一共有 3台机器，最近由于一台机器故障，现在集群只剩 2台机器了，问题应该就出在这里了。明确一下问题的原因：集群现有的机器数量不满足 3个 DataNode的要求，故导致副本数不足。

HDFS的副本机制通过多副本存储和机架感知策略，提供了高可靠性和容错能力。副本机制通过在集群中存储多个数据副本，确保在节点故障时数据仍然可用。当某个数据块的副本数低于配置值时（例如节点故障导致副本丢失），HDFS会自动触发副本修复。HDFS通过机架感知策略，确保副本分布在不同的机架上，以防止机架故障导致的数据丢失。NameNode定期检查数据块的副本状态，并指示DataNode复制缺失的副本。副本机制会增加存储成本（例如3副本意味着存储空间需求是原始数据的3倍）。第一个副本节点将数据复制到第二个副本节点。

HDFS采用一种称为机架感知的策略来改进数据的可靠性、可用性和网络带宽的利用率。在大多数情况下，HDFS的副本系数是3，HDFS的存放策略是一个副本存放在本地机架节点上，另一个副本存放在同一机架的另一个节点上，第三个副本存放在在不同机架的节点上。这种策略减少了机架间的数据传输，提高了写操作的效率。机架错误的概率远比节点错误的概率小，所以这种策略不会对数据的可靠性和可用性造成影响。与此同时，因为...

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章