Hadoop2.8.1 snappy 压缩报错

GYHui881204 2017-11-23 03:24:50

我本地检测snappy 和 lz4 本地库都有为什么在压缩文件的时候报这个错误org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()

...全文

832 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_41672062 2018-01-24

打赏
举报

回复

新的一年，希望华为云越办越好

1. 功能说明使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求：首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数。

折腾好久，刚才搞定，做个笔录！由于我们的生产环境没有root用户使用权限，且为了不在所有主机上安装一些依赖插件，因此我启用了使用hadoop native本地库，即在core-site.xml中配置了： hadoop.native.lib true 就因为这个配置，导致按照网上的方式不成功，灵机一动想到这点，才将问题解决，下面详细介绍，基于go

一、准备编译所需组件： 1. hadoop-2.7.1-src.tar.gz，官网自行下载 2. snappy-1.1.3.tar.gz，wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz 3. protobuf-2.5.0.tar.gz，下载地址https://github.

在hadoop集群中snappy是一种比较好的压缩工具，相对gzip压缩速度和解压速度有很大的优势，而且相对节省cpu资源，但压缩率不及gzip。在此不讨论孰优孰劣，各有各的用途。在此，hadoop集群采用的版本是hadoop-2.6.0-cdh5.9.0，系统是centos7.2。安装前提：java 7(使用java 8会报一个错误)java安装并配置PATH# rpm -ivh jdk-7u

文章目录前言一、什么是Snappy压缩？二、配置Snappy1.检查Snappy安装2.安装Snappy支持三、测试Snappy压缩总结前言前一篇文章中我们已经讲解了Sqoop中导入数据的基本方法Sqoop导入数据之import的基本使用接下来这篇文章中我们将介绍什么是Snappy压缩以及演示Snappy压缩的基本使用。本人的实验环境如下： CentOS6.5系统 CDH5.3.6的版本环境一、什么是Snappy压缩？ Snappy 是一个 C++ 的用来压缩和解压缩的开发包。其目标不是最大限度

华为云计算

928

社区成员

643

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章