oozie的定时spark2任务出现一直running的状态,并且查看任务发现有异常

涂氏解毒法 2018-06-30 05:36:08
具体任务的日志:2018-06-30 17:18:06,936 ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator: ERROR IN CONTACTING RM.
java.lang.ArithmeticException: / by zero
at org.apache.hadoop.mapreduce.v2.app.rm.ResourceCalculatorUtils.computeAvailableContainers(ResourceCalculatorUtils.java:38)
at org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator$ScheduledRequests.assign(RMContainerAllocator.java:1028)
at org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator$ScheduledRequests.access$200(RMContainerAllocator.java:920)
at org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator.heartbeat(RMContainerAllocator.java:258)
at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator$AllocatorRunnable.run(RMCommunicator.java:281)
at java.lang.Thread.run(Thread.java:745)
2018-06-30 17:18:07,938 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Before Scheduling: PendingReds:0 ScheduledMaps:1 ScheduledReds:0 AssignedMaps:0 AssignedReds:0 CompletedMaps:0 CompletedReds:0 ContAlloc:1 ContRel:0 HostLocal:0 RackLocal:0
...全文
1291 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
Perfect_chen 2020-02-21
  • 打赏
  • 举报
回复
配置sparkopts=--conf spark.yarn.jar=hdfs:ns1/user/oozie/share/lib/spark/spark-yarn_2.10-2.2.0.jar
涂氏解毒法 2019-05-17
  • 打赏
  • 举报
回复
引用 2 楼 Roamerjiss 的回复:
您好,楼主,我也遇到了这个问题,oozie中设置的sparkopts参数,在workflow.xml中添加这个配置,可以说一下具体步骤嘛,万分感激
这个我会做一个博客发出来。
Roamerjiss 2019-03-11
  • 打赏
  • 举报
回复
您好,楼主,我也遇到了这个问题,oozie中设置的sparkopts参数,在workflow.xml中添加这个配置,可以说一下具体步骤嘛,万分感激
涂氏解毒法 2018-07-06
  • 打赏
  • 举报
回复
这个应该是资源分配的问题啥的,怎么说呢,我的这个是yarn-cluster的任务,所以解决办法就是我在oozie中设置的sparkopts参数,在workflow.xml中添加这个配置,问题就消失了。

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧