社区
Spark
帖子详情
spark集群启动之后,spark-submit提交任务,主类找不到
elan3906
2017-08-23 10:09:39
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
...全文
4286
6
打赏
收藏
spark集群启动之后,spark-submit提交任务,主类找不到
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
RivenDong
2019-09-08
打赏
举报
回复
你可以通过.setJars直接提交到远程集群,非常方便调试。
PasPerCon
2019-04-02
打赏
举报
回复
你说的:在打包的时候Name后面填的要跟submit的参数class一样,是什么意思?您打包的方式是命令打包还是用Artifact打包?我也遇到了同样的问题,可以详细说一下吗?谢谢!!!
elan3906
2017-08-27
打赏
举报
回复
搞出来了。在打包的时候Name后面填的要跟submit的参数class一样。
LinkSe7en
2017-08-23
打赏
举报
回复
你确定你main方法类名是cluster,而不是像org.mortbay.jetty.Main这样的?
赵4老师
2017-08-23
打赏
举报
回复
JAVA_HOME或CLASSPATH环境变量没设置好?
elan3906
2017-08-23
打赏
举报
回复
master那边其它情况是这样。/etc/profile
spark-env.sh
开发环境IDEA是按照网上方法打jar包的
spark
-
submit
命令行
提交
Spark
任务
流程解读
本文详细剖析了
spark
-
submit
命令的工作流程,从
启动
脚本到参数解析,再到
任务
提交
的全过程。介绍了
Spark
Submit
类的主要功能,包括参数解析、加载以及
任务
执行,特别关注了
submit
(...)方法的运行机制。
Spark
Submit
任务
提交
流程
本文深入剖析了
Spark
Submit
提交
任务
的流程,从
spark
-
submit
脚本的执行开始,逐步讲解了参数解析、环境准备及
任务
提交
的过程,重点介绍了Standalone模式下的
任务
提交
机制。
Spark
之
Spark
任务
的
提交
方式【
Spark
-shell、
Spark
-
submit
】
本文详细介绍了
Spark
的两种
任务
提交
方式:
Spark
-shell和
Spark
-
submit
。
Spark
-shell是一个交互式Shell,适合测试,其内部调用了
Spark
-
submit
。而
Spark
-
submit
用于
提交
打包的应用到
集群
,不提供交互环境,适用于生产环境。两者的主要区别在于交互性和是否需要预编译。在
提交
参数方面,包括master地址、内存配置、依赖管理等。
一文带你解析
Spark
的源码:从
Spark
-
Submit
任务
提交
到资源分配Executor
本文深入解析Apache
Spark
的
任务
提交
流程,从
Spark
-
Submit
开始,详细介绍了Driver的创建、Job的
提交
过程、DAGScheduler和TaskScheduler的构建,以及Executor的
启动
。内容涵盖
Spark
在Standalone
集群
中的工作原理,如Driver、Cluster Manager、Executor和Worker的角色,以及
任务
调度和数据本地性的优化策略。通过对源码的分析,帮助读者理解
Spark
大规模数据处理的内部机制。
[1015]
spark
-
submit
提交
任务
及参数说明
本文详细介绍了如何使用
spark
-
submit
命令
提交
Python(py
spark
)项目到
Spark
standalone、YARN
集群
执行,包括
提交
参数如`--master`、`--deploy-mode`、`--executor-memory`等的使用,并给出了错误示例及解决方法。同时,解释了不同部署模式下参数的适用场景,帮助理解
Spark
任务
的
提交
过程。
Spark
1,275
社区成员
1,171
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章