运行spark程序异常 java.lang.NoSuchMethodError

sinat_22224149 2014-10-20 05:56:50
下面是出错的一段标准输出
”14/10/20 16:24:52 INFO Executor: Serialized size of result for 6 is 863
14/10/20 16:24:52 INFO Executor: Sending result for 6 directly to driver
14/10/20 16:24:52 INFO Executor: Serialized size of result for 7 is 863
14/10/20 16:24:52 INFO Executor: Finished task ID 6
14/10/20 16:24:52 INFO Executor: Sending result for 7 directly to driver
14/10/20 16:24:52 INFO Executor: Finished task ID 7
14/10/20 16:24:52 INFO DAGScheduler: Completed ResultTask(2, 0)
14/10/20 16:24:52 INFO TaskSetManager: Finished TID 6 in 16 ms on localhost (progress: 1/2)
14/10/20 16:24:52 INFO DAGScheduler: Completed ResultTask(2, 1)
14/10/20 16:24:52 INFO TaskSetManager: Finished TID 7 in 16 ms on localhost (progress: 2/2)
14/10/20 16:24:52 INFO TaskSchedulerImpl: Removed TaskSet 2.0, whose tasks have all completed, from pool
14/10/20 16:24:52 INFO DAGScheduler: Stage 2 (count at App.scala:24) finished in 0.019 s
14/10/20 16:24:52 INFO SparkContext: Job finished: count at App.scala:24, took 0.067808 s
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.graphx.Graph$.fromEdges(Lorg/apache/spark/rdd/RDD;Ljava/lang/Object;Lscala/reflect/ClassTag;Ls cala/reflect/ClassTag;)Lorg/apache/spark/graphx/Graph;
at Cookies.CountUV.CookieCountUV$.main(App.scala:31)
at Cookies.CountUV.CookieCountUV.main(App.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)“
源代码编译时没有错误
却在程序第31行出错
第31行用到了Graph.fromEdge方法
请问是什么原因?
...全文
4624 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
shengruxiahua2571 2015-12-01
  • 打赏
  • 举报
回复
调整一下所依赖的jar包的顺序试试,spark的在上,scala自带的在下,我也遇到了这个问题,调整后解决了
sinat_24241627 2014-12-07
  • 打赏
  • 举报
回复
遇到同样的问题,请教楼上是怎样解决的?
dolphin_sky 2014-12-01
  • 打赏
  • 举报
回复
我也遇到类似的问题,猜测应该是打包的版本 与 运行时版本不一致导致的。
liuboya993 2014-11-29
  • 打赏
  • 举报
回复
我也遇到了类似的问题,楼主解决了吗
sinat_22224149 2014-10-21
  • 打赏
  • 举报
回复
我用到的是spark的GraphX库,是包含fromEdges方法的 而且我使用Eclipse编译器写的程序,编译通过没有错误 今天我试了一下,在spark的spark-shell命令行模式中,一步步运行,到31行时却没有错误 将程序打成jar包,运行到31行却出错 不知是什么原因?
skyWalker_ONLY 2014-10-21
  • 打赏
  • 举报
回复
你看看源代码中有这个方法吗
  • 打赏
  • 举报
回复
最好把你写的代码也贴出来
  • 打赏
  • 举报
回复
两个环境使用的版本是不是一样的?

1,275

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧