社区
Hadoop生态社区
帖子详情
HDFS的副本数为什么为3?
wocawuliao
2016-05-14 07:37:19
HDFS的副本数为什么为3,为什么不是2或者是4那?
...全文
1282
5
打赏
收藏
HDFS的副本数为什么为3?
HDFS的副本数为什么为3,为什么不是2或者是4那?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
逍遥_幻月
2016-06-25
打赏
举报
回复
默认为三 但是可以修改
追梦码农
2016-06-22
打赏
举报
回复
副本数3 是数据可靠性和成本综合考虑的结果。
tianfang
2016-06-22
打赏
举报
回复
奇数方便表决
镜中夜
2016-06-21
打赏
举报
回复
在安装配置hadoop时,设置hdfs-site.xml时指定的保存的镜像数 <property> <name>dfs.replication</name> <value>3</value> </property>
Q-WHai
2016-06-17
打赏
举报
回复
默认的而已,可以自己设置啊。默认的 3 是两个在同一个机架,另一个在另一个机架。所以 3 是保证了足够的冗余下最小的备份数。
hdfs
的
副本
数
为啥增加了_
hdfs
数
据
副本
机制 hadoop
副本
数
为什么是3
HDFS
的
副本
数
为什么为3?
副本
数
为3,每一个block都要存3份,那多的2份都是冗余的啦 只有一个节点,所有block以及其备份全都存在该节点上,若那个节点
数
据盘只使用一块硬盘,所有
数
据都在一块硬盘上,硬盘坏了,
数
据也就全丢了,多
副本
完全起不到备份的作用,而且
HDFS
的性能肯定也奇差无比,甚至存的
数
据量稍微大一点,DataNode就挂了。Hadoop的
HDFS
是不是云存储?
HDFS
是Hadoop...
关于
HDFS
副本
数
概念 《学习与理解》
一、
HDFS
数
据
副本
概念:
HDFS
数
据
副本
存放策略,
副本
的存放是
HDFS
可靠性和高性能的关键。优化的
副本
存放策略是
HDFS
区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优,并需要经验的积累。
HDFS
采用一种称为机架感知(rack-aware)的策略来改进
数
据的可靠性、可用性和网络带宽的利用率。目前实现的
副本
存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性,观察它的行为,为实现更先进的策略打下测试和研究的基础。 大型
HDFS
集群系统往往运行在跨越多个机
解决
HDFS
副本
数
不足问题
1.现象 CDH界面
HDFS
出现爆红项,查看详情发现是
副本
数
不足导致的,如下:
HDFS
和 CDH版本:2.6.0+cdh5.15.1+2822 2.分析 报错是很明确的:接近 99%的
hdfs
块
副本
缺失。 默认情况下
hdfs
的
副本
一般是3个,要求至少有3个 DataNode。出问题的集群是一个测试集群,之前一共有 3台机器,最近由于一台机器故障,现在集群只剩 2台机器了,问题应该就出在这里了。 明确一下问题的原因: 集群现有的机器
数
量不满足 3个 DataNode的要求,故导致
副本
数
不足。
为什么
HDFS
的
副本
数
通常选择3?
HDFS
采用一种称为机架感知的策略来改进
数
据的可靠性、可用性和网络带宽的利用率。 在大多
数
情况下,
HDFS
的
副本
系
数
是3,
HDFS
的存放策略是一个
副本
存放在本地机架节点上,另一个
副本
存放在同一机架的另一个节点上,第三个
副本
存放在在不同机架的节点上。这种策略减少了机架间的
数
据传输,提高了写操作的效率。机架错误的概率远比节点错误的概率小,所以这种策略不会对
数
据的可靠性和可用性造成影响。与此同时,因为...
HDFS
减少
副本
数
最后我们发现缩小
副本
数
后,某些
数
据节点的磁盘占用下降巨大。它检查文件系统的元
数
据,验证文件和目录的完整性,并报告它发现的任何不一致或错误。在HADOOP的
hdfs
-site.xml中找到dfs.replication项,修改为2,分发同步到集群各个节点后,重启
HDFS
。其中/dw是指定的路径,也就是你需要将那个路径三
副本
变为2
副本
,-R参
数
则表示包含子目录。2、但这样只能保证新写入的块
副本
数
变为2,原有块仍然是3
副本
,因此还需要执行命令。考虑到成本问题我们选择了暂时性的解决的方案减小
副本
数
。
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章