社区
Spark
帖子详情
spark集群启动之后,spark-submit提交任务,主类找不到
elan3906
2017-08-23 10:09:39
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
...全文
4086
6
打赏
收藏
spark集群启动之后,spark-submit提交任务,主类找不到
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
RivenDong
2019-09-08
打赏
举报
回复
你可以通过.setJars直接提交到远程集群,非常方便调试。
PasPerCon
2019-04-02
打赏
举报
回复
你说的:在打包的时候Name后面填的要跟submit的参数class一样,是什么意思?您打包的方式是命令打包还是用Artifact打包?我也遇到了同样的问题,可以详细说一下吗?谢谢!!!
elan3906
2017-08-27
打赏
举报
回复
搞出来了。在打包的时候Name后面填的要跟submit的参数class一样。
LinkSe7en
2017-08-23
打赏
举报
回复
你确定你main方法类名是cluster,而不是像org.mortbay.jetty.Main这样的?
赵4老师
2017-08-23
打赏
举报
回复
JAVA_HOME或CLASSPATH环境变量没设置好?
elan3906
2017-08-23
打赏
举报
回复
master那边其它情况是这样。/etc/profile
spark-env.sh
开发环境IDEA是按照网上方法打jar包的
spark
-
submit
提交
jar包到
集群
找
不到
主类
报错:java.lang.ClassNotFoundException: Main 解决: 删除与
spark
集群
上已有环境的相关jar包
使用
spark
-
submit
工具
提交
Spark
作业
大数据实验教学系统使用
spark
-
submit
工具
提交
Spark
作业对于数据的批处理,通常采用编写程序、打.jar包
提交
给
集群
来执行,这需要使用
Spark
自带的
spark
-
submit
工具。 一般的部署策略是在一个网关机器上
提交
应用程序,这个机器和Worker机器部署在一个网络中(例如,Standalone模式的
集群
中的Master节点)。在此部署策略中,client模式更为合适,client模式中的driver直接跟
spark
-
submit
进程一起
启动
,
spark
-
submit
进程在此扮演
集群
中一个c
Spark
集群
中使用
spark
-
submit
提交
jar
任务
包
转载: 蜗龙徒行-
Spark
学习笔记【四】
Spark
集群
中使用
spark
-
submit
提交
jar
任务
包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题 由于在IDEA下可以方便快捷地运行Scala程序,所以先前...
Spark
集群
中使用
spark
-
submit
提交
jar
任务
包实战经验
转载: 蜗龙徒行-
Spark
学习笔记【四】
Spark
集群
中使用
spark
-
submit
提交
jar
任务
包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题 由于在IDEA下可以方便快捷地运行
spark
:
spark
-
submit
提交
任务
及参数说明(yarn)
spark
-
submit
可以
提交
任务
到
spark
集群
执行,也可以
提交
到 hadoop 的 yarn
集群
执行。 1. 例子 一个最简单的例子,部署
spark
standalone 模式后,
提交
到本地执行。 ./bin/
spark
-
submit
\ --master
spark
://localhost:7077 \ examples/src/main/python/pi.py 如果...
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章