找不到或无法加载主类 org.apache.spark.launcher.Main

liaomingxue none 服务器端工程师  2019-07-25 05:11:43
Windows环境下,安装spark2.4.3,spark-shell,spark-submit均没有问题,但是启动start-master时报错,日志为:

错误: 找不到或无法加载主类 org.apache.spark.launcher.Main
原因: java.lang.ClassNotFoundException: org.apache.spark.launcher.Main

看了下jars文件夹下spark-launcher.jar中这个类确实是有的,那么问题在什么地方呢?

Java版本12.0.4
...全文
156 点赞 收藏 3
写回复
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
liaomingxue 2019-07-25
我没有安装cygwin,那么是哪个程序在windows中执行这个ps命令导致不认识这个非正规选项-o呢?

问题应该是下面一句:

if [[ $(ps -p "$TARGET_ID" -o comm=) =~ "java" ]]; then

看看有没有修改的办法?
回复
liaomingxue 2019-07-25
界面上提示hostname unknown option --f
于是在spark-env.conf中增加了一行SPARK_MASTER_HOST=159.226.177.27
这个错误没有了

但还有一个错误ps unknown option -o 似乎是start-daemon.sh中的ps命令执行时不认识-o


回复
liaomingxue 2019-07-25
我新建一个系统环境变量SPARK_HOME之后,这个问题目前已经消失,但启动还是没有成功,启动窗口消失了,log日志为:

Spark Command: C:/Java/jdk-12.0.2\bin\java -cp C:\spark-2.4.3/conf\;C:\spark-2.4.3\jars\* -Xmx1g org.apache.spark.deploy.master.Master --host --port 7077 --webui-port 8080
========================================
C:/Java/jdk-12.0.2\bin\java -cp "C:\spark-2.4.3/conf\;C:\spark-2.4.3\jars\*" -Xmx1g org.apache.spark.deploy.master.Master --host --port 7077 --webui-port 8080

不知道到底启动成功没有。我再用intellij idea访问下看看。
回复
发动态
发帖子
Spark
创建于2014-06-26

983

社区成员

Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
申请成为版主
社区公告
暂无公告