社区
Spark
帖子详情
spark集群启动之后,spark-submit提交任务,主类找不到
elan3906
2017-08-23 10:09:39
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
...全文
4200
6
打赏
收藏
spark集群启动之后,spark-submit提交任务,主类找不到
如题。我在远程部署了spark集群。启动spark之后,想submit提交上传的jar包。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:cluster
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
RivenDong
2019-09-08
打赏
举报
回复
你可以通过.setJars直接提交到远程集群,非常方便调试。
PasPerCon
2019-04-02
打赏
举报
回复
你说的:在打包的时候Name后面填的要跟submit的参数class一样,是什么意思?您打包的方式是命令打包还是用Artifact打包?我也遇到了同样的问题,可以详细说一下吗?谢谢!!!
elan3906
2017-08-27
打赏
举报
回复
搞出来了。在打包的时候Name后面填的要跟submit的参数class一样。
LinkSe7en
2017-08-23
打赏
举报
回复
你确定你main方法类名是cluster,而不是像org.mortbay.jetty.Main这样的?
赵4老师
2017-08-23
打赏
举报
回复
JAVA_HOME或CLASSPATH环境变量没设置好?
elan3906
2017-08-23
打赏
举报
回复
master那边其它情况是这样。/etc/profile
spark-env.sh
开发环境IDEA是按照网上方法打jar包的
Spark
job
submit
.zip
3. **
提交
作业**:使用`
spark
-
submit
`命令,指定YARN作为master,输入JAR包路径,以及其他参数,如
主类
名、资源请求等。例如: ```
spark
-
submit
--class ...
(word完整版)windows下非
submit
-方式运行
spark
-on-yarn(CDH
集群
).doc
【描述】: "本文档详细介绍了在Windows系统下,不通过`
submit
`命令而是采用其他方式运行
Spark
应用程序在YARN上的方法,适用于CDH
集群
环境。" 【标签】: "互联网" 在Windows操作系统中,非
Submit
方式运行
Spark
on ...
spark
2.1.0.chm(
spark
java API)
1.
Spark
Context:作为
Spark
程序的入口点,用于连接到
Spark
集群
。创建
Spark
Conf配置对象,然后通过`
Spark
Context.getOrCreate()`初始化。 2. RDD操作:包括转换(transformations)如`map()`, `filter()`, 和行动...
ewbciywei.rar
用户会将`ZHouBudhouhe923780fuerh.jar`(代表用户代码)和`
spark
-assembly-1.5.2-hadoop2.6.0.jar`(
Spark
运行时环境)一起
提交
到
Spark
集群
,通过
Spark
的`
spark
-
submit
`命令,指定
主类
和参数,
启动
Spark
作业。...
大数据平台可用组件及命令.docx
Spark
命令主要用于
提交
作业或管理
Spark
集群
。 - **
spark
-
submit
**:
提交
Spark
作业。 - `
spark
-
submit
--class org.apache.
spark
.examples.
Spark
Pi
spark
-pi-1.0.jar`:
提交
名为`
Spark
Pi`的类作为
主类
,使用`
spark
-...
Spark
1,270
社区成员
1,170
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章