hadoop2.2.0 winutils.exe下载

weixin_39821746 2019-08-31 06:30:23

hadoop2.2.0 在window下进行MapReduce 测试时需要的工具，使用时需要修改
源码org.apache.hadoop.util.Shell.java 的277行fullName的路径如：
String fullExeName = "d:/hadoop" + File.separator + executable;
然后把winutils.exe放入到d:/hadoop目录下
相关下载链接：//download.csdn.net/download/jnwzping/6771299?utm_source=bbsseo

...全文

24 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：F:\hadoop2.2.0即可。

windows环境下，IntelliJ IDEA开发Spark程序报错： Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 解压上述压缩包在C盘（根据个人喜好）配置系统环境变量，变量名:HADOOP_HOME,变量值: C:\hadoop-common-2.2.0-bin-master 修改Path，增加 %HADOOP_HOME%/bin

winutils.exe and hadoop.dll 在 win7_64 环境亲测通过，解压的winutils.exe放在...\hadoop-2.8.1\bin\下，hadoop.dll放在...\Windows\system32\下，我安装的是Java 1.8.0_151，python3.6.3，spark2.2.0+hadoop2.8.1，注意版本匹配，太高的版本可能会报错，JAVA_HOME, SPARK_HOME，HADOOP_HOME和相应path的环境变量配置好，hive权限配置好，参考指令：winutils.exe chmod 777 D:\tmp\hive，如果metastore_db下的service.properties缺失，可以删除metastore_db文件夹会自动重建

报错无配置hadoop.home.dir，没有winutils.exe的处理；解压hadoop-common-2.2.0.rar放入D盘，添加配置文件HADOOP_HOME=D:\hadoop-common-2.2.0 重新启动开发工具，使新增配置生效

spark在windows上local模式下的缺失winutils.exe异常在写入临时文件后，执行shell命令时报错出现null command，由于没有配置hadoop在windows相关的winutils.exe命令文件，下载好该文件的后可以配置HADOOP_HOME环境变量 HADOOP_HOME=F:/hadoop-common-2.2.0-bin-master 或者在具体应用程序代码中最上方加入（我的是加入这个才有效，上面的无效） System.setProperty("hadoop.home.dir","F:/hadoop-common-2.2.0-bin-master" )

下载资源悬赏专区

13,654

社区成员

12,574,279

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章