社区
Hadoop生态社区
帖子详情
请教大家一个hadoop副本的基本问题
stormier
2013-10-26 10:36:42
我不太清楚副本是什么概念。我看hadoop权威指南里面讲副本是一个一个放置的,这就是说会把所有数据放到一个副本吗?这样的话一个副本所在的机器容量必须要大于副本?那么google这种规模的大数据每一个数据节点的容量岂不是都很大?
...全文
166
1
打赏
收藏
请教大家一个hadoop副本的基本问题
我不太清楚副本是什么概念。我看hadoop权威指南里面讲副本是一个一个放置的,这就是说会把所有数据放到一个副本吗?这样的话一个副本所在的机器容量必须要大于副本?那么google这种规模的大数据每一个数据节点的容量岂不是都很大?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
EACCD3B1
2013-10-26
打赏
举报
回复
一个副本指的就是一个数据块的一份存储,不是完整的数据
hdfs的
副本
数为啥增加了_hdfs数据
副本
机制
hadoop
副本
数为什么是3
副本
数为3,每
一个
block都要存3份,那多的2份都是冗余的啦 只有
一个
节点,所有block以及其备份全都存在该节点上,若那个节点数据盘只使用一块硬盘,所有数据都在一块硬盘上,硬盘坏了,数据也就全丢了,多
副本
完全起...
Hadoop
管理员的十个最佳实践
前言 接触
Hadoop
有两年的时间了,期间遇到很多的
问题
,既有经典的NameNode和JobTracker内存溢出...在解决
问题
的过程中,有时需要翻源码,有时会向同事、网友
请教
,遇到复杂
问题
则会通过mail list向全球各地
Hadoop
使用
运维经验分享:
Hadoop
管理员的十个最佳实践
接触
Hadoop
有两年的时间了,期间遇到很多的
问题
,既有经典的NameNode和JobTracker内存溢出...在解决
问题
的过程中,有时需要翻源码,有时会向同事、网友
请教
,遇到复杂
问题
则会通过mail list向全球各地
Hadoop
使用者,包括
Hadoop
核心技术分布式
在生产环境中,
Hadoop
通常采用完全分布式安装,即集群部署。
Hadoop
具有典型的主从架构,HDFS 的 NameNode 是主节点,DataNode 是从节点;YARN 的 ResourceManager 是主节点,NodeManager 是从节点。在正式部署前,...
Hadoop
集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法
通俗来说就是,当前系统中元数据与记录数据块前后不一致,而
Hadoop
默认要求最大的误差阀值为。此时,我们就会发现那些数据块丢失的文件,将这些文件按照路径在 HDFS 中全部删除即可。如果你想要对文件进行恢复,...
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章