hadoop 小文件问题

weixin_44042484 2019-05-07 08:33:37

有没有一种合并方法可以将多个小文件合成一个但是不会有小文件被切开的办法
比如我有1000个小文件想合并成多个大文件要每个不超过128m 而且每个大文件里的小文件都是完整的
有没有哪位可以指点一下
最好能给个可以测试的java代码
哈哈谢谢

...全文

43 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_44042484 2019-05-07

打赏
举报

回复

HAR 或者MapFile的话只能设置最终合成文件的大小并不能保证全都是完整的小文件我想合并的同时保证全是小文件

LinkSe7en 2019-05-07

打赏
举报

回复

HAR，或者用MapFile格式

It takes me two days to find the root cause for the exceptions and finally generate this jar file for hadoop 2.6.0. 1.use hadoop 2.6.0. 2.change the hadoop_home and path to point to hadoop 2.6.0 3....

这三篇文章，对于解释小文件问题& 解决方案 http://dongxicheng.org/mapreduce/hdfs-small-files-solution/ http://hadoop.apache.org/docs/current/api/org/apache/hadoop/io/SequenceFile.html ...

Hadoop分布式文件系统（HDFS）和MapReduce的工作原理如何优化Hadoop机群所需要的硬件配置搭建Hadoop机群所需要考虑的网络因素如何利用Hadoop配置选项进行系统性能调优如何利用FairScheduler为多用户提供服务级别...

hadoop fs -du-h 文件路径。2.查看当前目录文件下每个文件大小。1.查看当前目录文件总大小。

1，小文件导致的问题首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件...

Hadoop生态社区

20,809

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章