Spark-1.5 java.lang.Long cannot be cast to java.lang.Integer

路越 2017-08-30 02:46:18


org.apache.spark.rdd.RDD.collect(RDD.scala:904)
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke(Method.java:606)
org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:525)


Job aborted due to stage failure: Task 30 in stage 126.0 failed 4 times, most recent failure: Lost task 30.3 in stage 126.0 (TID 6544, rz-data-hdp-dn2882.rz.sankuai.com): java.lang.ClassCastException: java.lang.Long cannot be cast to java.lang.Integer


很意外,RDD.collect()居然会报这个错。下面是对应的spark源码。求问大牛什么原因导致的?如何解决?

/**
* Return an array that contains all of the elements in this RDD.
*/
def collect(): Array[T] = withScope {
val results = sc.runJob(this, (iter: Iterator[T]) => iter.toArray)
Array.concat(results: _*)
}
...全文
585 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
黑胖小子丶Ly 2017-08-30
  • 打赏
  • 举报
回复
Long cannot be cast to java.lang.Integer 强制转换错误,Long 类型的不能转换成 int类型

67,513

社区成员

发帖
与我相关
我的任务
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
  • Java EE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧