WIN7+CYGWIN+Hadoop运行wordcount失败

流氓兔 2013-03-29 05:33:22
win7系统已经成功安装cygwin
并且也成功安装ssh，实现无密码SSH方式登录
hadoop使用ps aux 可以查看5个JAVA进程，应该也是安装成功的
但是运行wordcount提示,无法加载本地库，但是官方说hadoop本地库不支持cygwin，这下就废囖，谁给帮帮忙？
$ hadoop jar hadoop-examples-1.0.4.jar wordcount input/1 output/1
13/03/29 17:01:24 INFO input.FileInputFormat: Total input paths to process : 1
13/03/29 17:01:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/03/29 17:01:24 WARN snappy.LoadSnappy: Snappy native library not loaded
13/03/29 17:01:24 INFO mapred.JobClient: Running job: job_201303291655_0001
13/03/29 17:01:25 INFO mapred.JobClient: map 0% reduce 0%
13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)

13/03/29 17:01:31 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_0&filter=stdout
13/03/29 17:01:31 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_0&filter=stderr
13/03/29 17:01:37 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_1, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)

13/03/29 17:01:37 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_1&filter=stdout
13/03/29 17:01:37 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_1&filter=stderr
13/03/29 17:01:43 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_2, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)

13/03/29 17:01:43 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_2&filter=stdout
13/03/29 17:01:44 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_2&filter=stderr
13/03/29 17:01:56 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000001_0, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)

13/03/29 17:01:56 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_0&filter=stdout
13/03/29 17:01:56 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_0&filter=stderr
13/03/29 17:02:02 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000001_1, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)

13/03/29 17:02:02 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_1&filter=stdout
13/03/29 17:02:02 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_1&filter=stderr
13/03/29 17:02:08 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000001_2, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)

13/03/29 17:02:08 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_2&filter=stdout
13/03/29 17:02:08 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_2&filter=stderr
13/03/29 17:02:13 INFO mapred.JobClient: Job complete: job_201303291655_0001
13/03/29 17:02:13 INFO mapred.JobClient: Counters: 4
13/03/29 17:02:13 INFO mapred.JobClient: Job Counters
13/03/29 17:02:13 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=24436
13/03/29 17:02:13 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
13/03/29 17:02:13 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
13/03/29 17:02:13 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=0
...全文
2672 19 打赏 收藏 转发到动态 举报
写回复
用AI写文章
19 条回复
切换为时间正序
请发表友善的回复…
发表回复
czonyee 2014-08-01
  • 打赏
  • 举报
 回复
引用 15 楼 tonyhuang_google_com 的回复:
楼主，建议你搭建个hadoop-2.2.0的单节点结群。 我用win7+hadoop-2.2.0跑hadoop程序，很顺畅。hadoop-2.2.0本身支持Linux和Windows,已于2013年10月份发布。
顶～，新版本不需要cygwin即可在win7上运行单节点集群，可参考如下连接： http://www.cnblogs.com/smartbooks/p/3694760.html
smile_rui7 2014-07-28
  • 打赏
  • 举报
 回复
补充下，下面是本人在用Cygwin时走的弯路，每一步都有日志，希望对后面人的有帮助。有点早，2013年5月的，那时还用的hadoop1.0.2,但不影响结论。 http://download.csdn.net/detail/summer6495/5350681
smile_rui7 2014-07-28
  • 打赏
  • 举报
 回复
Cygwin果断不支持，如果用来练手看下不错，但hadoop果断不支持，早已放弃Cygwin，希望以后的人不要纠结这个误区了。毕竟只是模拟器。
tonyhuang_google_com 2014-05-14
  • 打赏
  • 举报
 回复
楼主，建议你搭建个hadoop-2.2.0的单节点结群。 我用win7+hadoop-2.2.0跑hadoop程序，很顺畅。hadoop-2.2.0本身支持Linux和Windows,已于2013年10月份发布。
海兰 2014-05-12
  • 打赏
  • 举报
 回复
用VMmare之类的虚拟机来部署hadoop吧
念来过倒蛋笨 2014-05-08
  • 打赏
  • 举报
 回复
lz你用Cygwin的时候遇到无法加载类的问题了么？怎么解决啊？
幸运小侯子 2013-10-16
  • 打赏
  • 举报
 回复
好像日志不太全啊。。建议自己多看看日志啊，一般log里面都会说明白了因为什么或者缺少什么造成的。
xcp18 2013-06-13
  • 打赏
  • 举报
 回复
应该不是权限问题，而是hadoop对日志文件做了软连接 ln，window当成二进制文件
撸大湿 2013-05-31
  • 打赏
  • 举报
 回复
引用 9 楼 fun913510024 的回复:
[quote=引用 2 楼 tntzbzc 的回复:] 首先，程序出错和LZ贴出来的红字日志无关 致命错误发生是~~ 13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error 这句话 先要了解Child Error是啥意思 所有用hadoop jar跑起来的JAVA程序都会在JDK框架下启动一个进程Child 用JPS可以看到 Child Error大多都是权限问题所致 1、启动JAVA进程时，JDK_HOME/JRE/LIB引用出现权限问题 2、Map读取HDFS的INPUT文件时出现权限问题 3、Map写本地磁盘缓存出现权限问题 不同的问题需根据不同LOG判断，LZ把LOG都贴出来看下吧
13/05/30 00:24:10 INFO mapred.JobClient: map 0% reduce 0% 13/05/30 00:24:14 INFO mapred.JobClient: Task Id : attempt_201305300023_0001_m_000003_0, Status : FAILED Error initializing attempt_201305300023_0001_m_000003_0: ENOENT: No such file or directory at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method) at org.apache.hadoop.fs.FileUtil.execSetPermission(FileUtil.java:699) at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:654) 请问一下这个是什么原因？[/quote] No such file or directory 你的TASK TRACKER节点没有找到INPUT数据源
食仁魔法师 2013-05-30
  • 打赏
  • 举报
 回复
引用 2 楼 tntzbzc 的回复:
首先，程序出错和LZ贴出来的红字日志无关 致命错误发生是~~ 13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error 这句话 先要了解Child Error是啥意思 所有用hadoop jar跑起来的JAVA程序都会在JDK框架下启动一个进程Child 用JPS可以看到 Child Error大多都是权限问题所致 1、启动JAVA进程时，JDK_HOME/JRE/LIB引用出现权限问题 2、Map读取HDFS的INPUT文件时出现权限问题 3、Map写本地磁盘缓存出现权限问题 不同的问题需根据不同LOG判断，LZ把LOG都贴出来看下吧
13/05/30 00:24:10 INFO mapred.JobClient: map 0% reduce 0% 13/05/30 00:24:14 INFO mapred.JobClient: Task Id : attempt_201305300023_0001_m_000003_0, Status : FAILED Error initializing attempt_201305300023_0001_m_000003_0: ENOENT: No such file or directory at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method) at org.apache.hadoop.fs.FileUtil.execSetPermission(FileUtil.java:699) at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:654) 请问一下这个是什么原因？
developerinit 2013-04-24
  • 打赏
  • 举报
 回复
lz你问题解决了吗？我也遇到了，2周了。。。
流氓兔 2013-04-18
  • 打赏
  • 举报
 回复
引用 6 楼 tianchengwei09 的回复:
楼主你这问题解决没
我用wnmare使用虚拟机来部署hadoop了CYGWIN有点坑爹~
天空是蓝的 2013-04-10
  • 打赏
  • 举报
 回复
楼主你这问题解决没
深圳-唐朝才子 2013-04-08
  • 打赏
  • 举报
 回复
楼主，你那个问题解决了麽？我现在也是遇到这样的问题，都快把我逼疯啦！
我想飞走 2013-04-08
  • 打赏
  • 举报
 回复
我没遇到，好像是权限问题 你的SSHD启动了么？ 打PS看看有几个进程？
流氓兔 2013-04-03
  • 打赏
  • 举报
 回复
引用 2 楼 tntzbzc 的回复:
首先，程序出错和LZ贴出来的红字日志无关 致命错误发生是~~ 13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error 这句话 先要了解Ch……
3Q,目前我不适用cygwin模拟了，太麻烦，现在win7可以直接远程linux的hadoop进行debug 有时间给本机装个虚拟机
撸大湿 2013-04-01
  • 打赏
  • 举报
 回复
首先，程序出错和LZ贴出来的红字日志无关 致命错误发生是~~ 13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error 这句话 先要了解Child Error是啥意思 所有用hadoop jar跑起来的JAVA程序都会在JDK框架下启动一个进程Child 用JPS可以看到 Child Error大多都是权限问题所致 1、启动JAVA进程时，JDK_HOME/JRE/LIB引用出现权限问题 2、Map读取HDFS的INPUT文件时出现权限问题 3、Map写本地磁盘缓存出现权限问题 不同的问题需根据不同LOG判断，LZ把LOG都贴出来看下吧
cygwin+eclipse搭建hadoop开发环境,运行wordcount
内含三个文档，Cygwin+Eclipse搭建Hadoop开发环境、cygwin安装及基本操作方法总结、Hadoop环境搭建及wordcount实例运行，要做这方面工作的人，可以进行参考
HadoopMapReduce开发最佳实践
MapRuduce开发对于大多数程序员都会觉得略显复杂，运行一个WordCount（Hadoop中helloword程序）不仅要熟悉MapRuduce模型，还要了解Linux命令（尽管有Cygwin，但在Windows下运行MapRuduce仍然很麻烦），此外还要学习...
cygwin+hadoop+eclipse (三) 运行wordcount实例
前两者完成了cygwin,hadoop的安装，今天来运行一个hello world 程序_word count1 启动sshd服务 2 用ssh登陆 验证登陆 格式化namenode，并启动hadoop 设置输入 输出目录 run on hadoop ，不要 java ...
Hadoop运行WordCount示例出现的一些问题及解决办法
1.用cygwin伪分布式环境运行的。 2.hadoop开发者第一期里有个DFSOperator的示例，那个更简单，怎么打jar包，怎么运行之类的问题可以先参见一个那篇文章。 运行WordCount示例遇到了两个问题： a. ***/work/tmp ...
win7（64位）平台下Cygwin+Eclipse搭建Hadoop单机开发环境 （四） 导入Hadoop源码+wordcount程序+运行
win7（64位）平台下Cygwin+Eclipse搭建Hadoop单机开发环境 （一） Cygwin（64位）的安装 + ssh的配置 win7（64位）平台下Cygwin+Eclipse搭建Hadoop单机开发环境 （二） Hadoop的安装 win7（64位）平台下...
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章