无法加载主类 org.apache.spark.launcher.Main-CSDN论坛

无法加载主类 org.apache.spark.launcher.Main

云计算 > Spark

收藏回复

[问题点数：30分，结帖人proware]

⋅为什么看不到链接的栏目了？ ⋅无法加载主类 org.apache.spark.launcher.Main ⋅为什么会把我的（纪念六合镇君）的博文给删了。 更多帖子 关注私信空间博客 proware 等级 本版专家分：0 结帖率 97.83%: 请教下：安装spark后，启动失败。log里面记录“无法加载主类 org.apache.spark.launcher.Main”，请问是何故？
环境信息；
Welcome to Scala version 2.10.5 (Java HotSpot(TM) Client VM, Java 1.8.0_45).
spark-1.5.0-bin-hadoop2.6/

PATH:
$ echo $PATH
/usr/local/bin:/usr/bin:/cygdrive/f/JAVA/jdk-8u45-windows-i586/bin:/cygdrive/f/JAVA/apache-tomcat-6.0.44/bin:/cygdrive/f/JAVA/ffmpeg-20150602-git-aede1a1-win32-static/bin:/cygdrive/e/Anaconda:/cygdrive/e/Anaconda/Scripts:/usr/bin:/usr/sbin:/home/Administrator/scala-2.10.5/bin:/home/Administrator/spark-1.5.0-bin-hadoop2.6/bin

2015-09-26 22:51:44

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅此用户还没有发表过任何帖子 关注私信空间博客 要努力啊要努力 等级 本版专家分：10: 同遇到这种问题，请问楼主解决了吗？谢谢！

2015-09-27 22:39:05

点赞只看TA 引用举报 #1得分 10

⋅此用户还没有发表过任何帖子 关注私信空间博客 thecapeofgood... 等级 本版专家分：10: 同求啊，谢谢谢谢

2015-10-02 21:22:05

点赞只看TA 引用举报 #2得分 10

⋅此用户还没有发表过任何帖子 关注私信空间博客 PYQ632112224 等级 本版专家分：10: 您好你的问题解决了嘛

2015-11-02 22:58:37

点赞只看TA 引用举报 #3得分 10

⋅为什么看不到链接的栏目了？ ⋅无法加载主类 org.apache.spark.launcher.Main ⋅为什么会把我的（纪念六合镇君）的博文给删了。 更多帖子 关注私信空间博客 proware 等级 本版专家分：0: 这个主要是用了cygwin工具的原因，这个工具对命令的解析等和实际的linux下还是有差别的。直接用window版本的spark了。或者安装下linux系统。

这个问题本身和spark没有关系，和cygwin工具上运行java有关

java -cp 命令在cygwin运行的问题解决了，上面的问题就可以解决，但是java -cp这个命令在cygwin上怎么运行也不是很清楚。

问题没有有效答复，结贴了。

2015-11-07 11:30:40

点赞 1 只看TA 引用举报 #4得分 0

⋅为什么看不到链接的栏目了？ ⋅无法加载主类 org.apache.spark.launcher.Main ⋅为什么会把我的（纪念六合镇君）的博文给删了。 更多帖子 关注私信空间博客 proware 等级 本版专家分：0: 在spark-class文件中的下面语句中增加cygpath解决路径转换问题，就可以解决找不到类的情况！
done < <("$RUNNER" -cp `cygpath -wp "$LAUNCH_CLASSPATH"` org.apache.spark.launcher.Main "$@")

2015-11-08 21:23:03

点赞 2 只看TA 引用举报 #5得分 0

⋅此用户还没有发表过任何帖子 关注私信空间博客 夏春伟 等级 本版专家分：0: 配置环境变量
vim /etc/profile
加上以下对应内容：
export JAVA_HOME=/home/yy/jdk1.8
export SCALA_HOME=/home/yy/scala
export SPARK_HOME=/home/yy/spark-1.2.0-bin-hadoop2.4
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
执行source /etc/profile使配置生效
我一开始也是遇到了和楼主一样的问题，后来配置了SCALA_HOME环境变量之后就好了。
根据我的推测，在spark-shell中用到了这个变量，如果在ｐｒｏｆｉｌｅ中没有配置就会导致楼主说的错误

2016-03-07 15:10:29

点赞只看TA 引用举报 #6得分 0

⋅此用户还没有发表过任何帖子 关注私信空间博客 qq_18252221 等级 本版专家分：0: 我的也是，刚刚解决了，原因是JDK装的是1.6，重装了1.7，设好环境变量就可以了
希望能帮到你

2016-06-08 14:40:44

点赞只看TA 引用举报 #7得分 0

收起

收藏回复

proware

等级：

关注私信 TA的帖子

Scala调用Spark工具包出现错误: 找不到或无法加载主类: 使用eclipse编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。但是，如果有使用他们的解决方法...

错误: 找不到或无法加载主类 org.apache.tools.ant.launch.Launcher: 解决办法一如果是别的原因引起，怎么改路径（解决方法二）也没用。具体可参考： ... 解决办法二 ...find / -name ant-launcher.jar 添加到CLASSPATH export CLASSPATH=.:${JAVA_HOME}/lib:${JR...

错误：找不到或无法加载主类: 配置好后编译成功，但是执行main方法提示找不到或无法加载主类，甚至是新建了一个仅有几句话的helloworld都无法执行。解决方法：修改新项目的.classpath指定的代码目录结构。因新项目较简单，所以便使用的...

错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster: 解决方案: ①确保$HADOOP_HOME/etc/hadoop/mapred-site.xml包含下列设置 <property> <name>yarn.app.mapreduce.am.env</name>...HADOOP_MAPRED_HOME=$HADOOP_HOME<.../pro...

Spark源码解析之org.apache.spark.launcher.Main源码解析: 不管是启动spark-shell，或者通过spark-submit提交jar，还是其他其他master或者worker的脚本，最后都会进入...java -Xmx128m -cp ...jars org.apache.spark.launcher.Main "$@" 也就是说org.apache.spark.launcher....

2. Spark源码解析之org.apache.spark.launcher.Main源码解析: 不管是启动spark-shell，或者通过spark-submit提交jar，还是其他其他master或者worker的脚本，最后都会进入...java -Xmx128m -cp ...jars org.apache.spark.launcher.Main "$@" 也就是说org.apache.spark.launcher....

Could not find the main class: org.apache.spark.launcher.Main. Program will exit.: 1、 Could not find the main class: org.apache.spark.launcher.Main. Program will exit. 2、 failed to launch org.apache.spark.deploy.worker.Worker:今天在安装Spark的伪分布运行模式下，启动hadoop之后总是...

spark-core_03: org.apache.spark.launcher.Main源码分析: 承接上文“spark-core_02: spark-submit、spark-class脚本分析“launcher.Main主要作用是就是检测，注入spark-submit参数到spark环境中，然后返回SparkSubmit需要执行的参数，给spark-class脚本中的exec "...

Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster: 今天搭建了一个sparkOnYarn的集群，我想测试一下集群是否正常，使用spark自带蒙特卡罗求圆周率的...--class org.apache.spark.examples.SparkPi \ --master yarn --deploy-mode cluster \ --executor-memory 1G \ --...

Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher: 中的进度条有没有爆满，如果爆满了是上次提交的任务没清除占用空间了，先...conf/spark-defaults.conf:spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar hdfs dfs -mkdir hdfs://Desktop:9000/spark hdfs dfs .

spark-core_04: org.apache.spark.deploy.SparkSubmit源码分析：: 承接上文“org.apache.spark.launcher.Main源码分析“SparkSubmitArgumentsParser的父类就SparkSubmitOptionParser，在launcher.Main方法执行时用到OptionParser 它的父类也是SparkSubmitOptionParser。并且这个父类...

Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析: 前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。当打jar提交到集群运行的时候，一般会...--class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...

7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析: 前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。当打jar提交到集群运行的时候，一般会...--class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...

spark启动错误： java.lang.ClassNotFoundException: org.apache.parquet.Log: Exception in thread "main" java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat could not...

spark worker 启动失败 failed to launch org.apache.spark.deploy.worker.Worker: failed to launch org.apache.spark.deploy.worker.Worker

Spark SQL连接Hive失败 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient: 我的需求使用Spark连接Hive，访问Hive表语法是Spark SQL 上代码 ConnectHiveDemo.scala /** * 本地虚拟机的地址是：10.211.55.101... def main(args: Array[String]): Unit = { //1.创建对象 val spark: Spa..

Spark sql NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions: spark sql 写入hive 分区表报错：程序本身无...Exception in thread "main" java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.

spark运行时出现错误Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD: 原因：自己在pom文件中加入 <scope>provided</scope&...此标签表示编译环境可用，运行时则不可用，主要是在打包时不将这些依赖打进来，因为服务器上有，以免包过大 ...

启动spark-shell遇到的一些问题: 执行：spark-shell 1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt 原因是没有配置之前在/etc/profile下配置了hadoop的环境变量，但是没有配置...

Spark-shell启动的时候报Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder...: 版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ ...Spark-shell启动的时候报java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive...

Could not find or load main class org.apache.hadoop.fs.FsShell: hadoop常用命令，例如 hdfs dfs -ls 出现如上报错，发现配置文件/etc/profile中包含 $HADOOP_COMMON_HOME 注释掉在source/etc/profile即可。...当您有多个hadoop实例时，通常会发生这种情况，检查哪个hadoop并查看...

java.lang.ClassNotFoundException: org.apache.spark.sql.internal.StaticSQLConf$: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/internal/StaticSQLConf$ at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:938) at ...

idae运行spark代码报错ERROR MetricsSystem: Sink class org.apache.spark.metrics.sink.MetricsServlet ...: 1.问题描述在idea中编写，streaming处理服务器socket传递的数据，结果报错： "C:\Program Files\Java\jdk1.8.0_91\bin\...-Didea.launcher.bin.path=C:\Program Files (x86)\JetBrains\IntelliJ IDEA 2016....

Caused by: java.lang.ClassNotFoundException: org.apache.spark.ml.param.Param: Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/ml/param/Param at saprk_ML.demo01.main(demo01.scala) Caused by: java.lang.ClassNotFoundException: org.apache.spark.ml.p...

Error while instantiating ‘org.apache.spark.sql.internal.SessionState: (1) 现象截图 (2) 错误堆栈信息(文本) D:\developments\java-tools\jdk1.8.0_144\bin\java.exe -ea -Didea.test.cyclic.buffer.size=1048576 -javaagent:D:\developments\dev-software\IntelliJIDEA2020\lib\idea_...

java.lang.ClassNotFoundException: Class org.apache.oozie.service.Coordinator: 解决刚安装oozie是,启动报java.lang.ClassNotFoundException: Class org.apache.oozie.service.Coordinator 网上找了半天答案, 也没能解决. 最后从配置文件着手解决了. 先贴一下我的配置文件oozie-site.xml &...

java.lang.VerifyError: class org.apache.spark.sql.hive.HiveExternalCatalog overrides final method al: java.lang.VerifyError: class org.apache.spark.sql.hive.HiveExternalCatalog overrides final method alterDatabase.(Lorg/apache/spark/sql/catalyst/catalog/CatalogDatabase;)V at java.lang.ClassLoader.de...

jdk1.8 64位官方正式版 jdk-8u91-windows: jdk1.8 64位官方正式版 jdk-8u91-windows

C#入门必看实力程序100个: C#入门必看含有100个例字,每个例子都是针对C#的学习关键知识点设计的,是学习C#必须知道的一些程序例子,分享给大家，需要的可以下载

c语言项目开发实例: 十个c语言案例（1）贪吃蛇（2）五子棋游戏（3）电话薄管理系统（4）计算器（5）万年历（6）电子表（7）客户端和服务器通信（8）潜艇大战游戏（9）鼠标器程序（10）手机通讯录系统

相关热词 c# 设置窗体为激活 c# 同步发送 c# 多进程锁 c# 读取类的属性和值 c# out 使用限制 c#获取url的id c# update 集合 c# 公众号菜单 c#for迭代 c#指针应用