spark远程连接运行程序报错,有哪位大佬能说下怎么解决么?

qq_34614761 2019-08-09 04:52:12
java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.api.java.JavaPairRDD$$anonfun$pairFunToScalaFun$1.x$334 of type org.apache.spark.api.java.function.PairFunction in instance of org.apache.spark.api.java.JavaPairRDD$$anonfun$pairFunToScalaFun$1
连接本地模式运行是正常的,连接远程spark集群运行就报错,按照网上说的设置了jars也报错,都百度烂了,求大佬帮忙啊
...全文
222 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
补充一下,本地文件引用位置,需要 file:/// 打头,不然系统会默认去hdfs找
  • 打赏
  • 举报
回复
你这边的路径配置不对哦!

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧