oozie

Applexiaoxiaoben 2013-05-27 06:28:55
2013-05-27 08:42:59,494 WARN org.apache.hadoop.mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
2013-05-27 08:43:00,150 INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat: Total input paths to process : 1
2013-05-27 08:43:00,318 INFO org.apache.hadoop.mapred.JobClient: Running job: job_201305270801_0015
2013-05-27 08:43:01,322 INFO org.apache.hadoop.mapred.JobClient: map 0% reduce 0%

我通过oozie执行一个java程序,并且就是执行的mahout命令,一直map在这里不动是为什么呢?
下面是我写的java action
<action name="java-node">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<prepare>
<delete path="${tempDir}"/>
<delete path="${outputDir}"/>
</prepare>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<main-class>org.apache.mahout.cf.taste.hadoop.item.RecommenderJob</main-class>
<arg>--input</arg>
<arg>hdfs://CDH4:8020/user/cloudera/mahout_input/mahout_data.txt</arg>
<arg>--output</arg>
<arg>hdfs://CDH4:8020/user/cloudera/mahout_output/</arg>
<arg>-s</arg>
<arg>SIMILARITY_COOCCURRENCE</arg>
<arg>--usersFile</arg>
<arg>hdfs://CDH4:8020/user/cloudera/mahout_user/mahout_user.txt</arg>
<arg>--numRecommendations</arg>
<arg>3</arg>
<file>/user/oozie/share/lib/mahout/mahout-core-0.7-cdh4.2.1-job.jar#mahout-core-0.7-cdh4.2.1-job.jar</file>
</java>
<ok to="end"/>
<error to="fail"/>
</action>
...全文
70 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据调度系统构成,集成大数据计算任务构建大数据工作流,基于Oozie构建实现企业级自动化任务开发 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:工作流任务调度系统 1.大数据调度系统概论 2.企业级工作流 3.工作流依赖调度 4.工作流定时调度 第二章:企业级任务流调度系统Oozie 1.Oozie的应用场景 2.Oozie的功能及模块 3.Oozie的与MR的关系 4.Oozie的工作流实现原理 5.Oozie中的特殊概念Action 6.Hadoop的集成配置 7.Oozie的部署配置 第三章:Oozie调度开发实战 1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑控制组件 第四章:Oozie定时依赖调度 1.基于时间的任务流调度 2.Coordinator时区配置 3.Coordinator任务实战开发 第五章:Oozie可视化开发 1.集成Hue配置 2.基于Hue构建Oozie工作流开发实战 第六章:Oozie监控任务管理 1.Oozie任务的查看 2.Oozie任务的提交 3.Oozie任务的关闭

20,811

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧