spark集群启动之后，spark-submit提交任务，主类找不到

elan3906 2017-08-23 10:09:39

如题。我在远程部署了spark集群。启动spark之后，想submit提交上传的jar包。报错：java.lang.ClassNotFoundException: cluster。我的主类名是：cluster

...全文

4294 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

RivenDong 2019-09-08

打赏
举报

你可以通过.setJars直接提交到远程集群，非常方便调试。

PasPerCon 2019-04-02

打赏
举报

你说的：在打包的时候Name后面填的要跟submit的参数class一样，是什么意思？您打包的方式是命令打包还是用Artifact打包？我也遇到了同样的问题，可以详细说一下吗？谢谢！！！

elan3906 2017-08-27

打赏
举报

搞出来了。在打包的时候Name后面填的要跟submit的参数class一样。

LinkSe7en 2017-08-23

打赏
举报

你确定你main方法类名是cluster，而不是像org.mortbay.jetty.Main这样的？

赵4老师 2017-08-23

打赏
举报

JAVA_HOME或CLASSPATH环境变量没设置好？

elan3906 2017-08-23

打赏
举报

master那边其它情况是这样。/etc/profile

spark-env.sh

开发环境IDEA是按照网上方法打jar包的

1，简介在上一篇博客中，我们详细介绍了Spark Standalone模式下集群的启动流程。在Spark 集群启动后，我们要想在集群上运行我们自己编写的程序，该如何做呢？本篇博客就主要介绍Spark Submit提交任务的流程。 2，Spark 任务的提交我们可以从spark 的官网看到，spark-submit的提交格式如下： ./bin/spark-submit –class –ma...

spark-shell1、概述2、启动 1、概述 \quad \quadSpark-shell 是 Spark 给我们提供的交互式命令窗口(类似于 Scala 的 REPL) 2、启动直接启动bin目录下的spark-shell: ./spark-shell <1>直接使用 ./spark-shell 表示使用local 模式启动，在本机启动一个SparkSubmit进程 <2>还可指定参数 --master，如： spark-shell --master local[

随着互联网的告诉发展，每天会有大量的数据产生，传统的数据分析手段已经不能满足现在的需求。Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，现在形成一个高速发展应用广泛的生态系统。Spark由于其基于内存的计算模式，能够很好的应用于各个应用场景，包括离线数据分析、在线数据分析和机器学习等。要想深入的了解Spark，学习其源码实现是必不可少的过程。在本场 Chat 中，会讲到...

文章目录例子spark-submit 详细参数说明--master--deploy-mode--class--name--jars--packages--exclude-packages--repositories--py-files--files--conf PROP=VALUE--properties-file--driver-memory--driver-java-options--driver-library-path--driver-class-path--driver-cores--e

之前我们已经进行了pyspark环境的搭建以及经过jupyter notebook进行过开发以及实现了一系列的函数功能.但是一般我们跑spark都是在集群上面跑，只有测试一般在本地上测试，而且每个公司配置的spark集群的端口和设置的参数都有很大出入，故每种情况都有可能发生。所以一般任务提交的参数最好都需要能够清楚的明白对应功能。很多spark任务都会吃大量的内存以及队列资源，合理的安排spark资源十分重要，这些都需要我们在spark-submit指令上面配置。

Spark

1,275

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章