为什么hadoop的块要定长,如果不定长,系统要做什么额外的工作,请大牛帮助解答一下,最好可以从源码分析。

OJR 2014-03-01 09:54:24
为什么hadoop的块要定长,如果不定长,系统要做什么额外的工作,请大牛帮助解答一下,最好可以从源码分析。
...全文
1057 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
撸大湿 2014-03-12
  • 打赏
  • 举报
回复
引用 5 楼 qazxcv1122 的回复:
[quote=引用 4 楼 coolbamboo2008 的回复:] 不定长,就得不停的检索各个模块多大了,用到什么情况了
弄个字段记录大小不行吗?[/quote] 定长Block大部分 文件系统的设计思路 如果是不定长block,就需要额外对每个Block增加一个索引 Block size 索引 BZindex 不是你说的用一个字段记录那么简单 当我们流读一个文件的Block时,BZindex的扫描会带来额外的开销,并且提高了系统复杂度 不定长Block会导致文件系统的内存cache的设计复杂度提高 不定长Block的好处是可以增加存储利用率 但效率极低~ 空间换时间,还是时间换空间,这个LZ自己拿捏把 至少目前开来空间换时间在大数据领域是主流
OJR 2014-03-06
  • 打赏
  • 举报
回复
引用 4 楼 coolbamboo2008 的回复:
不定长,就得不停的检索各个模块多大了,用到什么情况了
弄个字段记录大小不行吗?
OJR 2014-03-06
  • 打赏
  • 举报
回复
引用 6 楼 coolbamboo2008 的回复:
[quote=引用 5 楼 qazxcv1122 的回复:] [quote=引用 4 楼 coolbamboo2008 的回复:] 不定长,就得不停的检索各个模块多大了,用到什么情况了
弄个字段记录大小不行吗?[/quote] 我觉得那样会有更多的问题,不如现在这样方便。毕竟不必总要去想每个模块现在怎样了。等大小只需要知道空还是不空[/quote]我从代码上还找不到限制定长块的原因
coolbamboo2008 2014-03-06
  • 打赏
  • 举报
回复
引用 5 楼 qazxcv1122 的回复:
[quote=引用 4 楼 coolbamboo2008 的回复:] 不定长,就得不停的检索各个模块多大了,用到什么情况了
弄个字段记录大小不行吗?[/quote] 我觉得那样会有更多的问题,不如现在这样方便。毕竟不必总要去想每个模块现在怎样了。等大小只需要知道空还是不空
coolbamboo2008 2014-03-02
  • 打赏
  • 举报
回复
不定长,就得不停的检索各个模块多大了,用到什么情况了
OJR 2014-03-02
  • 打赏
  • 举报
回复
自己顶三下
OJR 2014-03-02
  • 打赏
  • 举报
回复
自己顶两下
OJR 2014-03-02
  • 打赏
  • 举报
回复
自己顶一下

932

社区成员

发帖
与我相关
我的任务
社区描述
云计算 云存储相关讨论
社区管理员
  • 云存储
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧