spark解压大量zip文件

[weixin_42443454]

有8-10T左右的zip文件保存在hdfs，我需要解压出来，考虑使用MapReduce或者spark实现，但是我现在根本没有思路，求大神们支招

[weixin_42443454]

引用 1 楼 L_ong211314 的回复:

数据源格式的改变在所难免。 由于zip压缩格式不支持split切分读取。mr不会尝试切分zip压缩文件，因为它知道输入的是zip压缩文件（通过ext）且zip不支持切分。所以我觉得你再map的时候应该会拿到整个文件（通过block的Index）。拿到之后将其转化为其他可以压缩并且支持split的压缩格式，如RCFile、Avro或者直接存储解压后的文件。然后再重新mr操作。

大佬....我看你写的有点懵,可以麻烦一下再解释一遍么....

[提倡实践的理论家]

数据源格式的改变在所难免。
由于zip压缩格式不支持split切分读取。mr不会尝试切分zip压缩文件，因为它知道输入的是zip压缩文件（通过ext）且zip不支持切分。所以我觉得你再map的时候应该会拿到整个文件（通过block的Index）。拿到之后将其转化为其他可以压缩并且支持split的压缩格式，如RCFile、Avro或者直接存储解压后的文件。然后再重新mr操作。