【求助】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop

迪司匹林 2018-11-25 09:48:08
目前写的python脚本已在本机实现,单词统计,如下
cat The_Man_of_Property.txt | python map_word.py | sort -k1 | python reduce_word.py | sort -k2 -nr | head -10

然后编写了一个脚本,将作业提交至hadoop,并执行计算,run.sh脚本如下:
HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH_1="/The_Man_of_Property.txt"
OUTPUT_PATH="/output"

#$HADOOP_CMD fs -rmr -skiptrash $OUTPUT_PATH

$HADOOP_CMD -jar $STREAM_JAR_PATH \
-input $INPUT_FILE_PATH_1 \
-output $OUTPUT_PATH \
-mapper "python map_word.py" \
-reducer "python reduce_word.py" \
-file ./map_word.py \
-file ./reduce_word.py


执行脚本,出现如下异常:


备注:已确认jar路径没有错误

还请大神相助,谢谢啦
...全文
230 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
迪司匹林 2019-05-14
  • 打赏
  • 举报
回复
“$HADOOP_CMD -jar $STREAM_JAR_PATH”,去掉jar前面的中划线“-”

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧