请教大家一个hadoop副本的基本问题

stormier 2013-10-26 10:36:42

我不太清楚副本是什么概念。我看hadoop权威指南里面讲副本是一个一个放置的，这就是说会把所有数据放到一个副本吗？这样的话一个副本所在的机器容量必须要大于副本？那么google这种规模的大数据每一个数据节点的容量岂不是都很大？

...全文

236 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

EACCD3B1 2013-10-26

打赏
举报

回复

一个副本指的就是一个数据块的一份存储，不是完整的数据

整体组织为一个master，三个slave master：namenode ，jobtracker，secondarynamenode slave：datanode，tasktracker 在master上执行start-all.sh在master:50070上可以看到只有两个datanode存活然后在没启动成功的datanode上单独启动，再在master：50070上发现新启动的上去

目录一、摘要二、正文2.1 环境说明2.2 网络拓扑2.3 Hadoop副本放置策略介绍2.4 解析EditLog和Fsimage镜像文件三、小结一、摘要通过解析存储于NameNode节点上的日志文件EditLog和镜像文件（元数据）Fsimage来反向验证HDFS的数据块副本存放策略，其目的是希望加深对Hadoop的数据块放置策略的理解以及掌握如何查看日志文件及镜像文件的方法和理解其内容。二、正文 2.1 环境说明软件说明 VMWareWorkstation 版本16.2.+

Table of Contents BlockPlacementPolicy Hadoop 提供的 BlockPlacementPolicy 实现 BlockPlacementPolicyDefault 源码阅读首先处理favoredNodes 三副本选择再到具体的选择源码阅读的几个注意修改HDFS默认的副本放置机制 RackAwareness 机架感知大多数的叫法都是副本放置策略，实质上是HDFS对所有数据的位置放置策略，并非只是针对数据的副本。因此Hadoop的

fill:#333;important;important;fill:none;副本机制总结工作原理管道复制机架感知自动修复读取选择配置方式全局默认文件级目录级动态调整业务驱动核心数据: 高副本临时数据: 低副本热点数据: 动态增加冷数据: 纠删码运维管理Balancer均衡监控告警容量规划。

Hadoop中的数据副本机制主要是通过HDFS（HadoopDistributedFileSystem）来实现的。HDFS默认会将每一个文件的数据划分为固定大小的块（通常是128MB），并将每个块保存为多份副本，副本的默认数量为3。这个副本机制可以确保数据的高可用性和容错性。

Hadoop生态社区

20,843

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章