HDFS 下，一个文件如何查看它所占的元数据在namenode内存中的大小？

flesh_man 2016-03-11 08:47:03

各位想问一下，如何查看namenode中元数据的大小啊

...全文

1575 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

大数据技术架构 2019-07-14

打赏
举报

回复

引用 1 楼 pernodrum 的回复:

大概是150kb

多一个k吧兄弟

pernodrum 2019-03-31

打赏
举报

回复

大概是150kb

定义 NameNode管理着整个HDFS文件系统的元数据。从架构设计上看，元数据大致分成两个层次：Namespace管理层：负责管理文件系统中的树状目录结构以及文件与数据块的映射关系；块管理层：负责管理文件系统中文件的物理块与实际存储位置的映射关系BlocksMap。 Namespace管理的元数据除内存常驻外，也会周期Flush到持久化设备上FsImage文件；BlocksMap元数据只在内存

在HDFS中文件相关元数据具有两种类型文件自身属性信息文件名称、权限，修改时间，文件大小，复制因子，数据块大小。文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个块位于哪个节点上。按存储形式分为内存元数据和元数据文件两种，分别存在内存和磁盘上。

NameNode是HDFS的核心，集群的主角色，被称为Master。 NameNode仅存储管理HDFS的元数据：文件系统namespace操作维护目录树，文件和块的位置信息。NameNode不存储实际数据或数据集。数据本身实际存储在DataNodes中。 NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件。NameNode并不持久化存储每个文件中各个块所在的DataNode的位置信息，这些信息会在系统启动时从DataNode汇报中重建。

NameNode 元数据内存计算

2.1 概述从形式上讲，元数据ke

932

社区成员

651

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章