Hadoop Mac系统问题

CodeBeing 2018-08-30 09:46:08

Hadoop Mac系统是用虚拟机安装Centos还是直接装，开发学习的话，要不要安装虚拟机呢？

...全文

440 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

macOS 下编译的hadoop-3.1.3源码所得的native库，可解决mac系统安装hadoop因缺失native库引起的报错

mac系统下编译hadoop3.2.1源码后生成的lib/native下的包，为了解决“WARN util.NativeCodeLoader”警告，包含snappy及isa-l，编译过程可以看https://blog.csdn.net/weixin_44570264/article/details/106846117

安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因： Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。该资源为 64位 macOS 系统下，hadoop 2.8.0 版本对应的本地库。使用方法： 1.解压到已经安装好的hadoop安装目录的lib目录下。 2.增加环境变量： export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 即可解决警告问题。

hadoop2 lzo 文件，编译好的64位 hadoop-lzo-0.4.20.jar 文件，在mac 系统下编译的，用法：解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下，把里面lib/Mac_OS_X-x86_64-64 下的所有文件拷到 hadoop 安装路径下的lib/native ，再把core-site.xml 增加 io.compression.codecs org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec io.compression.codec.lzo.class com.hadoop.compression.lzo.LzoCodec 看看hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.LzoIndexer big_file.lzo 行不行，不行的话，重启一下hadoop 集群

mac版本，解决hadoop2.0+安装后无法加载本地库的问题（无法加载native库）主要原因是官网预编译的不支持macOS系统，需要我们自行编译

其他数据库

2,209

社区成员

9,519

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章