hadoop运行自带例子wordcount失败

weixiaoxiao001 2012-07-26 03:09:55
[root@master hadoop-0.20.203.0]# bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output
12/07/30 14:46:12 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
12/07/30 14:46:12 INFO input.FileInputFormat: Total input paths to process : 2
12/07/30 14:46:12 INFO mapred.JobClient: Running job: job_201207301024_0004
12/07/30 14:46:13 INFO mapred.JobClient: map 0% reduce 0%
12/07/30 14:46:26 INFO mapred.JobClient: Task Id : attempt_201207301024_0004_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:866)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:195)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:718)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:369)
at org.apache.hadoop.mapred.Child$4.run(Child.java:259)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
at org.apache.hadoop.mapred.Child.main(Child.java:253)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)
... 8 more

12/07/30 14:46:27 INFO mapred.JobClient: Task Id : attempt_201207301024_0004_m_000001_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:866)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:195)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:718)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:369)
at org.apache.hadoop.mapred.Child$4.run(Child.java:259)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
at org.apache.hadoop.mapred.Child.main(Child.java:253)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)
... 8 more
12/07/30 14:46:51 INFO mapred.JobClient: Job complete: job_201207301024_0004
12/07/30 14:46:51 INFO mapred.JobClient: Counters: 7
12/07/30 14:46:51 INFO mapred.JobClient: Job Counters
12/07/30 14:46:51 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=40721
12/07/30 14:46:51 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/30 14:46:51 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
12/07/30 14:46:51 INFO mapred.JobClient: Launched map tasks=8
12/07/30 14:46:51 INFO mapred.JobClient: Data-local map tasks=8
12/07/30 14:46:51 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=0
12/07/30 14:46:51 INFO mapred.JobClient: Failed map tasks=1

启动都是正常的，这个为什么啊？求救
...全文
1129 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
ThreeandOut 2013-04-14
  • 打赏
  • 举报
 回复
在wordcount 项目中手动导入hadoop-examples-1.0.4.jar包就没问题了。
又丑又萌的八戒 2013-04-02
  • 打赏
  • 举报
 回复
jar包问题 你的jar包可能坏了 你要是要 我可以发给你源代码 我写好的
pennyharry 2013-03-29
  • 打赏
  • 举报
 回复
可能是eclipse版本过高，建议换成低版本的，比如3.7.2试试
紫金 2012-12-14
  • 打赏
  • 举报
 回复
检查下你的输出路径是否存在
小爽昵称已被占用 2012-11-04
  • 打赏
  • 举报
 回复
sz下来反编译找到main函数看看。
xu101q 2012-09-25
  • 打赏
  • 举报
 回复
这个 可能和版本有关， 也可以讲MR 程序打包成JAR ， 然后在job 中指定。不知道这样能不能解决
zlcrypto 2012-09-13
  • 打赏
  • 举报
 回复
问题解决了没有呀 楼主 介绍一下解决心得呗。
houzizy 2012-07-26
  • 打赏
  • 举报
 回复
这个是这个版本的问题吧，找不到wordcount的jar包。建议不用要用apache的原始版本，一般采用cloudera的版本，那个比较稳定。cloudera自己去搜索一下吧。
知无畏 2012-07-26
  • 打赏
  • 举报
 回复
我也在纠结呀！同求呀！顶
hadoop运行wordcount实例
包含配置hadoop过程中遇到的一些问题的解决办法和成功运行wordcount实例的步骤
hadoop worcount实验
本实验描述了在hadoop下使用MapReduce编程，实现自带的例子wordcount。描述了编程流程
hadoop全分布式集群配置
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
2023年广工虚拟化与云计算实验报告
一、实验要求 1、学习Hadoop开源云计算平台的安装、配置和应用。实习MapReduce并行计算程序编程。 2、撰写上机实验报告。 二、说明 1、该实验实现了Hadoop的运行环境搭建，包括虚拟机环境准备，安装JDK，安装Hadoop；配置了Hadoop的三种运行模式，包括本地运行模式，伪分布式运行模式，完全分布式运行模式；实现了MapReduce并行计算程序编程，官方自带的WordCount案例。附录记录了CentOS6.8虚拟机的安装及配置。 2、相关软件和安装包已经上传至百度网盘。 链接：https://pan.baidu.com/s/1stoNBwI8-6I0DidrQY-GrA?pwd=59yk 提取码：59yk 3、镜像自行在官网下载即可。
ubuntu10.04下面安装单机版的Hadoop
文档中详细阐述了如何在ubuntu10.04下安装Hadoop的过程，包括安装的一些准备工作，如JDK的安装，SSH的安装等。随后，文档介绍了安装单机运行的Hadoop的方法，。最后，文档实验了hadoop自带的两个例子，一个是grep类的实现，一个是wordcount类的实现。
Hadoop生态社区

20,811

社区成员

4,691

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章