cloudera hue创建oozie workflow跑pyspark程序方法

忆然zero 2015-12-15 04:49:41
请问大家有没有在cloudera hue界面创建oozie workflow跑pyspark程序?
我模仿官网例子试
workflow详细如下:
<workflow-app name="spark-python" xmlns="uri:oozie:workflow:0.5">
<start to="spark-3806"/>
<kill name="Kill">
<message>操作失败,错误消息[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<action name="spark-3806">
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>local
  • </master>
    <mode>yarn-client</mode>
    <name>MySpark</name>
    <jar>/user/hue/oozie/workspaces/workflows/spark-python/lib/DataTest.py</jar>
    <spark-opts>--conf spark.yarn.historyServer.address=http://clouderamanager/:18088 --conf spark.eventLog.dir=user/spark/applicationHistory --conf spark.eventLog.enabled=true </spark-opts>
    </spark>
    <ok to="End"/>
    <error to="Kill"/>
    </action>
    <end name="End"/>
    </workflow-app>

  • 总是报错:Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [1]

    官网只看到了调度.jar包的例子https://oozie.apache.org/docs/4.2.0/DG_SparkActionExtension.html#Spark_on_YARN

    求指导,谢谢!!
...全文
975 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
crazywind_taotao 2016-09-19
  • 打赏
  • 举报
回复
遇到了同样的问题,楼主怎么解决的,求指点
qq_26500989 2016-02-23
  • 打赏
  • 举报
回复
请问,这个问题您解决了吗?我也遇到了同样的问题
ychf830104 2016-02-17
  • 打赏
  • 举报
回复
haha,我也遇到类似问题

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧