oozie 死锁

jueshengtianya 2014-05-10 09:24:25
今天我在用oozie调用mr的时候,前面的mr执行都很正常,但是到遇到fork的时候,oozie的控制台提示正在运行,但是都过去1个小时了map还是0%,一直没动,我查看oozie日志和hadoop日志都没有任何错误,我怀疑是死锁不执行了,希望各位大侠帮忙看看。谢谢。。。

oozie的配置文件:
<workflow-app xmlns="uri:oozie:workflow:0.2" name="java-main-wf">
<start to="firstMid"/>

<!--生成第一次中间结果-->
<action name="firstMid">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<main-class>com.miaozhen.ies.job.IesJob4MZSEQ</main-class>
<arg>/ies/output/mid</arg>
</java>
<ok to="joinLog"/>
<error to="fail"/>
</action>

<!--聚合中间结果和当天的日志-->
<action name="joinLog">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<main-class>com.miaozhen.ies.job.JoinJob</main-class>
<arg>/ies/join</arg>
</java>
<ok to="generateResult"/>
<error to="fail"/>
</action>

<fork name="generateResult">
<path start="iesResult"/>
<path start="spidResult"/>
</fork>

<!--生成结果-->
<action name="iesResult">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<main-class>com.miaozhen.ies.job.IesResultJob</main-class>
<arg>/ies/join/joinResult/iesResult-r-00000</arg>
<arg>/ies/result</arg>
</java>
<ok to="completed"/>
<error to="fail"/>
</action>

<action name="spidResult">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<main-class>com.miaozhen.ies.job.ResultJob</main-class>
<arg>/ies/join/joinResult/iesResult-r-00000</arg>
<arg>/ies/result</arg>
</java>
<ok to="completed"/>
<error to="fail"/>
</action>

<join name="completed" to="end"/>

<kill name="fail">
<message>Java failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>
...全文
267 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
stefalee 2014-12-22
  • 打赏
  • 举报
回复
楼主问题解决了吗,我也遇到同样的问题,求助。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧