hadoop如何支持LZO压缩

东南西北风hxl 2017-11-28 08:29:06

我在网上按照步骤安装了lzo,但是发现用不了，请问大家知道什么原因吗？
我的hadoop版本是2.8.2

报错如下：
hive> select * from tb_provcode_lzo_t;
OK
Failed with exception java.io.IOException:java.io.IOException: No LZO codec found, cannot run.
Time taken: 2.778 seconds

...全文

238 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

tianfang 2017-12-01

打赏
举报

回复

检查hadoop集群是否添加了hadoop-lzo-*.jar, 是否已配置到HADOOP_CLASSPATH里配置 core-site.xml

hadoop支持LZO压缩配置将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 io.compression.codecs org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec, com.hadoop.compression.lzo.LzoCodec, com.hadoop.compression.lzo.LzopCodec io.compression.codec.lzo.class com.hadoop.compression.lzo.LzoCodec

配置hadoop支持LZO和snappy压缩

hadoop-lzo-0.4.21-SNAPSHOT.jar是hadoop数据压缩lzo工具包

hadoop配置支持LZO压缩必备，版本号hadoop-lzo-0.4.20-SNAPSHOT.jar，

1.安装 Hadoop-gpl-compression 1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz 1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64/ 1.3 cp hadoop-gpl-compression-0.1.0/hadoop-gpl-compression-0.1.0.jar /usr/local/hadoop-1.0.2/lib/ 2.安装 lzo apt-get install gcc apt-get install lzop 3.在本地测试可以执行压缩及解压缩命令下载 https://github.com/kevinweil/hadoop-lzo/zipball/master 解压包 export CFLAGS=-m64 export CXXFLAGS=-m64 //用于 hadoop0.20 ，所以1.0未必适用进行build ant compile-native tar 将生成的 build/hadoop-lzo-0.4.15.jar cp 到 /usr/local/hadoop-1.0.2/lib 测试解压程序 bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /home/hadoop/project_hadoop/aa.html.lzo

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章