关于datanode直接访问的问题？

killyourdidi 2013-01-10 07:39:59

hdfs取文件的机制是客户端通过namenode获取元数据信息，再直连datanode提取数据；
那么是不是可以直接连datanode把datanode上的数据全搞下来？这没有问题么？
初次接触hadoop望大虾亲切指导

...全文

273 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

rollandlee 2013-02-26

打赏
举报

回复

引用 3 楼 xu101q 的回复:

DN 是有RPC 接口的，可以访问！

正解

tcs106106 2013-01-16

打赏
举报

回复

谢谢提醒，不错哦亲

xu101q 2013-01-16

打赏
举报

回复

DN 是有RPC 接口的，可以访问！

abc41106 2013-01-11

打赏
举报

回复

hdfs上文件是被分成一个或多个块来存储的，这些块不一定都存储在同一个数据节点上，namenode记录着每个文件中各个块所在的数据节点信息，所以你不经过namenode即使从datanode上取下来数据，也不知道如何把这些数据重建成文件。

1.HDFS原理与架构说明2.HDFS的namenode和datanode3.HDFS缓存机制(Cache)4.HDFS快照(Snapshot)5.HDFS命令行操作6.HDFS的Java API编程7.HDFS Web HDFS API编程实践 8.HDFS企业级项目实战：某企业微博数据分析平台数据...

DataNode没有直接和NameNode连接，而是在需要时才与NameNode通信，以下是DataNode与NameNode通信的方式 1、初始化注册：当DataNode启动时，将向NameNode进行注册，告知NameNode其可以处理HDFS的读写操作 2、周期...

一、概述HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。HDFS Architecture：二、NamenodeNamenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem...

问题导读： 1.job的本质是什么？ 2.任务的本质是什么？ 3.文件系统的Namespace由谁来管理，Namespace的作用是什么？ 4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？ 5.Namenode...

Hadoop中HDFS的存储机制HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念，然后介绍HDFS中...

Hadoop生态社区

20,809

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章