找不到或无法加载主类 org.apache.spark.launcher.Main

[liaomingxue]

Windows环境下，安装spark2.4.3，spark-shell,spark-submit均没有问题，但是启动start-master时报错，日志为：

错误: 找不到或无法加载主类 org.apache.spark.launcher.Main
原因: java.lang.ClassNotFoundException: org.apache.spark.launcher.Main

看了下jars文件夹下spark-launcher.jar中这个类确实是有的，那么问题在什么地方呢？

Java版本12.0.4

[liaomingxue]

我新建一个系统环境变量SPARK_HOME之后，这个问题目前已经消失，但启动还是没有成功，启动窗口消失了，log日志为：

Spark Command: C:/Java/jdk-12.0.2\bin\java -cp C:\spark-2.4.3/conf\;C:\spark-2.4.3\jars\* -Xmx1g org.apache.spark.deploy.master.Master --host --port 7077 --webui-port 8080
========================================
C:/Java/jdk-12.0.2\bin\java -cp "C:\spark-2.4.3/conf\;C:\spark-2.4.3\jars\*" -Xmx1g org.apache.spark.deploy.master.Master --host --port 7077 --webui-port 8080

不知道到底启动成功没有。我再用intellij idea访问下看看。

[liaomingxue]

界面上提示hostname unknown option --f
于是在spark-env.conf中增加了一行SPARK_MASTER_HOST=159.226.177.27
这个错误没有了

但还有一个错误ps unknown option -o 似乎是start-daemon.sh中的ps命令执行时不认识-o

[liaomingxue]

我没有安装cygwin，那么是哪个程序在windows中执行这个ps命令导致不认识这个非正规选项-o呢？

问题应该是下面一句：

if [[ $(ps -p "$TARGET_ID" -o comm=) =~ "java" ]]; then

看看有没有修改的办法？