社区
Spark
帖子详情
spark集群启动之后,spark-submit提交任务,主类找不到
elan3906
2017-08-23 10:09:39
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
...全文
4201
6
打赏
收藏
spark集群启动之后,spark-submit提交任务,主类找不到
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
RivenDong
2019-09-08
打赏
举报
回复
你可以通过.setJars直接提交到远程集群,非常方便调试。
PasPerCon
2019-04-02
打赏
举报
回复
你说的:在打包的时候Name后面填的要跟submit的参数class一样,是什么意思?您打包的方式是命令打包还是用Artifact打包?我也遇到了同样的问题,可以详细说一下吗?谢谢!!!
elan3906
2017-08-27
打赏
举报
回复
搞出来了。在打包的时候Name后面填的要跟submit的参数class一样。
LinkSe7en
2017-08-23
打赏
举报
回复
你确定你main方法类名是cluster,而不是像org.mortbay.jetty.Main这样的?
赵4老师
2017-08-23
打赏
举报
回复
JAVA_HOME或CLASSPATH环境变量没设置好?
elan3906
2017-08-23
打赏
举报
回复
master那边其它情况是这样。/etc/profile
spark-env.sh
开发环境IDEA是按照网上方法打jar包的
Spark
job
submit
.zip
本地
提交
spark
任务
至yarn,本地无须安装hadoop环境,适合批量新手入门。
(word完整版)windows下非
submit
-方式运行
spark
-on-yarn(CDH
集群
).doc
(word完整版)windows下非
submit
-方式运行
spark
-on-yarn(CDH
集群
).doc
spark
2.1.0.chm(
spark
java API)
spark
通过java操作的API详细说明,chm格式,可搜索自己想要的API,内部有详细的用法说明
ewbciywei.rar
spark
-assembly-1.5.2-hadoop2.6.0.jar
大数据平台可用组件及命令.docx
权限管理: 平台组件使用用户认证进行权限管理。认证方式通过BODC认证: -Dhadoop.security.bdoc.access.id=47a320e5999099013ec3 -Dhadoop.security.bdoc.access.key=9ffafb0dede91560ecccfb1dccf19be9a54ac1bc
Spark
1,270
社区成员
1,170
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章