请问hadoop里的namenode和datanode是各自有什么作用?

HaLo120706 2019-04-12 09:04:03
请问hadoop里的namenode和datanode各自的作用是什么?

我的理解是

namenode就像是一本书的目录,可以快速找到数据所在的datanode
datanode是负责存储数据的

那在集群运行程序的时候,负责计算的是namenode,datanode只是起到存储功能而不参与运算。
是这样的吗?请大神帮帮忙,或者有什么好文章可以更清晰的了解hadoop的?
...全文
2120 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
i-moyan 2020-03-14
  • 打赏
  • 举报
回复
Hadoop权威指南_第四版_中文版.pdf这本书可不可以挂个链接
张伯毅 2019-04-24
  • 打赏
  • 举报
回复
namenode 作用: 1.管理所有 datanode, 心跳 2.对所有上传的文件进行管理, 存储元速度, 通过 name 就可以直接指导数据存放到哪里. 3.datanode 数据负载, 上架下架. 4..... datanode : 存储数据 细节部分你去查一下资料. 我给你推荐一本书,这是目前官方出的最新的书, 如果是指了解的话, 你去 csdn 找几篇博客,刷刷就好了 如果系统学习的话,推荐去翻一下书, 系统的学一下. Hadoop权威指南_第四版_中文版.pdf
zgycsmb 2019-04-24
  • 打赏
  • 举报
回复
1.Namenode

是整个文件系统的管理节点。它维护着1.整个文件系统的文件目录树,2.文件/目录的元信息和每个文件对应的数据块列表。3.接收用户的操作请求。

2.Datanode

提供真实文件数据的存储服务。
文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。
HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block. 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。
qq_43185311 2019-04-17
  • 打赏
  • 举报
回复 2
namenode是整个文件系统的管理节点。它维护着1.整个文件系统的文件目录树,2.文件/目录的元信息和每个文件对应的数据块列表。3.接收用户的操作请求。 namenode包含两个文件:FsImage(元数据镜像文件。存储某一时段NameNode内存元数据信息)和Editlog(操作日志文件) NameNode维护着2张表: 1.文件系统的目录结构,以及元数据信息 2.文件与数据块(block)列表的对应关系 元数据存放在fsimage中,在运行的时候加载到内存中的(读写比较快)。 操作日志写到editlog中 datanode:存储文件内容,维护blockid到datanode的映射关系

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧