使用hadoop jar 在集群上跑自己的程序报错

初上路的小码农 2019-05-05 03:05:48

在公司的集群上跑count，自己写的java 打包jar，因为之前的做大数据的人走了，只能我这个萌新来边学边做了，求大佬指点

...全文

164 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_38440773 2019-05-11

打赏
举报

回复

你每次运行的时候，都有一个url。可以跟进一下任务的进度，然后在scheduler看看集群上各个队列的资源状况

初上路的小码农 2019-05-06

打赏
举报

回复

没人的自己结吧！确实是要指定队列的问题，已经搞定

初上路的小码农 2019-05-05

打赏
举报

回复

没人吗

初上路的小码农 2019-05-05

打赏
举报

回复

只知道大概是要指定队列，，
当加上-D的时候出现另外的错误

在笔记本虚拟机上部署Hadoop集群后运行Wordcount程序报错Connection refused

本人用hadoop3.3.0、ZK搭建的HA分布式集群，运行hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 5 5时出现如下错误： Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your <HADOOP_HOME>/etc/hadoop/mapred-site.xm

报错日志： Exception in thread &amp;quot;main&amp;quot; java.lang.UnsupportedClassVersionError: com/hdfs/wordcount/WordcountDriver has been compiled by a more recent version of the Java Runtime (class file version 53.0), th...

GroupId 和ArtifactId 随便写（还是建议规范点）->finfsh会生成pom.xml，文件内容如下可以网上找个wordCount（单词计数）源码进行测试，复制进去会发现以下的那些包都是报红，因为许多类都是无法识别的。接下来打开File->project Structure->Modules->右侧±>JARs or directories将你hadoop集群里面下载的jar包全部导入进去点击左侧Arifacts ->±>JAR->empty。...

在hadoop上运行wordcount示例代码时，报错Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.sxuek.wordcount.WCMapper not found。或者修改hdfs-site.xml文件配置不使用权限检查。2.hadoop运行时不知道如何找这个类。1.没有hdfs 的权限用户，代码添加。指定用户权限为root。指定job对象的主类。

Hadoop生态社区

20,811

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章