请问Hadoop可以根据blockId获取对应Block的内容吗

一只螺丝钉 2018-04-18 04:02:57

请问Hadoop可以根据blockId获取对应Block的内容吗？就是我以block为单位读取数据

...全文

1150 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

泪三国云无痕 2018-04-23

打赏
举报

回复

不能。。。。。。。

xyh1re 2018-04-21

打赏
举报

回复

具体是什么需求，为什么要以block为单位读取数据？文件虽然是分block存贮，但是对外呈现的还是一个整体，无法获取每个block的文件地址就无法读取特定block的数据吧

Hadoop入门和大数据应用视频教程，该课程主要分享Hadoop基础及大数据方面的基础知识。讲师介绍：翟周伟，就职于百度，Hadoop技术讲师，专注于Hadoop&大数据、数据挖掘、自然语言处理等领域。2009年便开始利用Hadoop构建商业级大数据系统，是国内该领域早的一批人之一，负责设计过多个基于Hadoop的大数据平台和分析系统。2011年合著出版《Hadoop开源云计算平台》。在自然语言处理领域申请过一项发明专利。新出版书籍《Hadoop核心技术》。

如果需要查看Hadoop HDFS 中的一个文件对应block信息，比如block数、block大小、block所在位置等，可以使用hdfs fsck命令。1. HDFS示例文件[root@node1 data]# hdfs dfs -ls /user/root/input Found 7 items -rw-r--r-- 3 root supergroup 281498 2017-09

一.前言先说一下Datanode磁盘存储结构,尽管Datanode并不保存HDFS文件和目录的元数据，但是Datanode还是需要保存一部分Datanode自身的元数据的，这些元数据是通过Datanode磁盘存储上的一些文件和目录来保存的. Datanode可以定义多个存储目录保存数据块， Datanode的多个存储目录存储的数据块并不相同，并且不同的存储目录可以是异构的，这样的设计可以提高数据块IO的吞吐率. [比如多块磁盘.] ■ BP-451827885-192.168.8.156-15

痛苦的方式，假设你已经读取了所有文件的访问权限（并且执行目录）： $ p $ hadoop fsck / -files - 块| grep blk_520275863902385418_1002 -B 20 然后从块匹配扫描回上一个文件名： /hadoop/mapred/system/jobtracker.info 4个字节，1个块：OK 0. blk_520275863902385418_1002 len = 4 repl = 1 在这种情况下blk_5202 ...是...

hadoop生态圈面试精华之HDFS部分

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章