社区
Hadoop生态社区
帖子详情
请问hadoop里的namenode和datanode是各自有什么作用?
HaLo120706
2019-04-12 09:04:03
请问hadoop里的namenode和datanode各自的作用是什么?
我的理解是
namenode就像是一本书的目录,可以快速找到数据所在的datanode
datanode是负责存储数据的
那在集群运行程序的时候,负责计算的是namenode,datanode只是起到存储功能而不参与运算。
是这样的吗?请大神帮帮忙,或者有什么好文章可以更清晰的了解hadoop的?
...全文
2120
4
打赏
收藏
请问hadoop里的namenode和datanode是各自有什么作用?
请问hadoop里的namenode和datanode各自的作用是什么? 我的理解是 namenode就像是一本书的目录,可以快速找到数据所在的datanode datanode是负责存储数据的 那在集群运行程序的时候,负责计算的是namenode,datanode只是起到存储功能而不参与运算。 是这样的吗?请大神帮帮忙,或者有什么好文章可以更清晰的了解hadoop的?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
i-moyan
2020-03-14
打赏
举报
回复
Hadoop权威指南_第四版_中文版.pdf这本书可不可以挂个链接
张伯毅
2019-04-24
打赏
举报
回复
namenode 作用: 1.管理所有 datanode, 心跳 2.对所有上传的文件进行管理, 存储元速度, 通过 name 就可以直接指导数据存放到哪里. 3.datanode 数据负载, 上架下架. 4..... datanode : 存储数据 细节部分你去查一下资料. 我给你推荐一本书,这是目前官方出的最新的书, 如果是指了解的话, 你去 csdn 找几篇博客,刷刷就好了 如果系统学习的话,推荐去翻一下书, 系统的学一下. Hadoop权威指南_第四版_中文版.pdf
zgycsmb
2019-04-24
打赏
举报
回复
1.Namenode
是整个文件系统的管理节点。它维护着1.整个文件系统的文件目录树,2.文件/目录的元信息和每个文件对应的数据块列表。3.接收用户的操作请求。
2.Datanode
提供真实文件数据的存储服务。
文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。
HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block. 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。
qq_43185311
2019-04-17
打赏
举报
回复
2
namenode是整个文件系统的管理节点。它维护着1.整个文件系统的文件目录树,2.文件/目录的元信息和每个文件对应的数据块列表。3.接收用户的操作请求。 namenode包含两个文件:FsImage(元数据镜像文件。存储某一时段NameNode内存元数据信息)和Editlog(操作日志文件) NameNode维护着2张表: 1.文件系统的目录结构,以及元数据信息 2.文件与数据块(block)列表的对应关系 元数据存放在fsimage中,在运行的时候加载到内存中的(读写比较快)。 操作日志写到editlog中 datanode:存储文件内容,维护blockid到datanode的映射关系
Java大数据培训学校全套教程-50)
Hadoop
与MapReduce最入门
java大数据培训学校全套教材系列课程由750集视频构成,基本就 是1)时下流行的java培训学校主流内部教材,2)和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来,等于上了培训学 校一次,完全可以找个java工程师的工作了。 通过学习
Hadoop
的安装与配置,hdfs常用命令,WordCount程序详解,Shuffle过程详解,WordCount程序结果分析,
Hadoop
,HDFS,MapReduce,Name
Node
和
Data
Node
,yarn,ResourceManager,
Node
Manager的概念等让大家对
Hadoop
和MapReduce编程打下好的基础。课程特色:专业细致,偏案例,理论强。课程软件使用:必须下载 2018最新eclipse 4.7 oxygen版本重要声明:1) 如果感觉噪音大,可以选择不用耳机,加音箱或用电脑原声 2) 既然我们的名字叫最最最入门,这个讲义的特点就在于成本最低的, 让你最快速的,最容易的入门。大数据的最大的难点在于入门入不了,从而最终放弃。俗话说师傅领进门,修行在个人。只要入了门了,后面的事都好办。当然,既 然侧重点在于如何入门,内容选的就不是很多。那些已经入门的,或者想学到精通级别的同学,请千万不要选我这套课程,选课前,务必注意本章的学习目标和内容。想学更多,注意后边的课程。
Hadoop
入门(二) 深入了解
Hadoop
中Name
Node
和
Data
Node
的工作机制
Hadoop
入门(二) 深入了解
Hadoop
中Name
Node
和
Data
Node
的工作机制 别等时光染了梦想 数据量越来越多,在一台PC的范围存不下了,那么就分配到更多的PC中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。分布式文件管理系统很多,
Hadoop
的HDFS只是其中一种。 HDFS主要分为两大角色,Name
Node
与
Data
Node
,Name
Node
主要负责管理元数据,
Data
Node
主要负责存储文件块。Name
Node
来管理
data
node
与
Hadoop
的Name
Node
和
Data
Node
Name
Node
的
作用
: Name
Node
在内存中保存着整个文件系统的名称空间和文件数据块的地址映射 整个HDFS可存储的文件数受限于Name
Node
的内存大小。 Name
Node
元数据信息: 文件名,文件目录结构,文件属性(生成时间,副本数,权限)每个文件的快列表。 以及列表中的块与块所在的
Data
Node
之间的地址映射关系,在内存中加载文件系...
Hadoop
中Name
Node
和
Data
Node
不能同时启动的解决办法
Hadoop
中Name
Node
和
Data
Node
不能同时启动解决办法
Hadoop
中Name
Node
和
Data
Node
的概述
Name
Node
概述 a、 Name
Node
是 HDFS 的核心。 b、 Name
Node
也称为 Master。 c、 Name
Node
仅存储 HDFS 的元数据:文件系统中所有文件的目录树,并跟踪整 个集群中的文件。 d、 Name
Node
不存储实际数据或数据集。数据本身实际存储在
Data
Node
s 中。 e、 Name
Node
知道 HDFS 中任何给定文件的块列表及其...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章