spark开发遇到报找不到类,求助高手!!!

monster-s 数据仓库开发工程师  2017-11-17 04:47:08
最近刚接触scala开发 我用spark创建session
val spark = SparkSession.builder().master("local[2]").appName(appName) .config("spark.sql.warehouse.dir", hive_home)
.enableHiveSupport() .getOrCreate()
,可是运行时出现了这样的错误,我看引用的类org.apache.spark:spark-core_2.11:2.1.0 相应的路径下是有Logging类的
Logging类:

希望有高手可以帮帮忙指点一下,拜托了!!!
日志详情:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at org.apache.spark.sql.SparkSession$.builder(SparkSession.scala:901)
at main.scala.dataview.VisualizeMerItemEtl$.main(VisualizeMerItemEtl.scala:19)
at main.scala.dataview.VisualizeMerItemEtl.main(VisualizeMerItemEtl.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.internal.Logging
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 15 more

Process finished with exit code 1

...全文
469 回复 点赞 打赏 收藏 举报
写回复
回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
相关推荐
发帖
Hadoop生态社区
加入

2.0w+

社区成员

Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等
申请成为版主
帖子事件
创建了帖子
2017-11-17 04:47
社区公告
暂无公告