Spark启动报错？

Jack123 2018-07-11 08:57:33

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
at org.apache.spark.deploy.SparkSubmitArguments.handleUnknown(SparkSubmitArguments.scala:451)
at org.apache.spark.launcher.SparkSubmitOptionParser.parse(SparkSubmitOptionParser.java:178)
at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:97)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:114)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 5 more

...全文

855 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

张某码 2018-10-11

打赏
举报

回复

用scala很烦的各种版本问题，直接用PY吧

迷途1503 2018-09-25

打赏
举报

回复

可以看下编写spark程序的spark版本和运行程序的spark版本是否一致

siashuayongsheng18 2018-08-30

打赏
举报

回复

org.apache.hadoop.fs.FSDataInputStream未导入
可以查看这个

福清仔 2018-08-30

打赏
举报

回复

检查jar包有没有maven成功

农夫和山泉 2018-07-13

打赏
举报

回复

org.apache.hadoop.fs.FSDataInputStream找不到，看看包是否完整。

Win10下spark-shell报错处理-附件资源

20/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.at.org.apache.spark.memory.Uni

该包可以启动spark的thriftserver。可以解决报错failed load org.apache.spark.sql.hive.thriftserver.HiveThriftServer2的报错。

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文源码准备下载 Apache Spark 源码打开 IDEA，如下操作：如下操作，输入： git@github.com:apache/spark.git 项目构建下载完成后，等 maven 自动构建完成（可以手动 add as maven project）这时细心的伙伴会发现程序中有错误

spark 程序启动命令如下 spark-submit --class com.test.sparkjob.order.OrderFullLoad /Users/jisen/Desktop/spark-job-1.0.jar --jars /Users/jisen/Desktop/terajdbc4.jar 启动后报错如下：这个问题困扰我很久，在我无助时请教了小白同学，他让我试一下如下命令： spark-submit --jars jars/tlddderajdbc4.jar --class co

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章