oozie4 hive0.12 action 配置-CSDN论坛

oozie4 hive0.12 action 配置

其他技术论坛 > 分布式计算/Hadoop

收藏回复

[问题点数：100分，结帖人greatmind829]

⋅hadoop2.2 添加snappy 压缩 ⋅oozie4 hive0.12 action 配置 ⋅oozie4.0 hadoop2.2 配置 更多帖子 关注私信空间博客 greatmind829 等级 本版专家分：0 结帖率 100%: oozie4 hive0.12 action 如何配置，有那位大侠知道吗？
我配置出现的问题：
oozie hive hadoop 页面显示提交成功了，
可OOZIE 页面拉直接KILLED 了，这是为什么？

2014-03-10 15:55:00

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅hadoop2.2 添加snappy 压缩 ⋅oozie4 hive0.12 action 配置 ⋅oozie4.0 hadoop2.2 配置 更多帖子 关注私信空间博客 greatmind829 等级 本版专家分：0: oozie 运行日志

2014-03-10 15:56:12

点赞只看TA 引用举报 #1得分 0

⋅hadoop2.2 添加snappy 压缩 ⋅oozie4 hive0.12 action 配置 ⋅oozie4.0 hadoop2.2 配置 更多帖子 关注私信空间博客 greatmind829 等级 本版专家分：0: 期待高手。。。

2014-03-11 09:52:08

点赞只看TA 引用举报 #2得分 0

⋅发射～～～～ ⋅散分啦，顺便抱怨一下，招聘hadoop工程师有那么难吗？？ ⋅开源一个基于Storm 分布式BP神经网络的Demo（Java版） 更多帖子 关注私信空间博客 版主 撸大湿 等级 本版专家分：0 勋章 红花 2014年3月高性能开发大版内专家分月排行榜第一 2014年2月高性能开发大版内专家分月排行榜第一 2014年1月高性能开发大版内专家分月排行榜第一 2013年6月高性能开发大版内专家分月排行榜第一 2013年5月高性能开发大版内专家分月排行榜第一 2013年4月高性能开发大版内专家分月排行榜第一: 没配过4 和hive12
帮顶

2014-03-11 13:30:40

点赞只看TA 引用举报 #3得分 100

⋅hadoop2.2 添加snappy 压缩 ⋅oozie4 hive0.12 action 配置 ⋅oozie4.0 hadoop2.2 配置 更多帖子 关注私信空间博客 greatmind829 等级 本版专家分：0: 每次都是版主帮顶，给力。

2014-03-11 15:10:03

点赞只看TA 引用举报 #4得分 0

⋅log4j日志文件名中文问题 ⋅oozie调用hive action出错 40000 ⋅java httpclient问题 更多帖子 关注私信空间博客 clpliji 等级 本版专家分：0: 楼主，问题解决了吗？

2014-05-07 17:31:51

点赞只看TA 引用举报 #5得分 0

⋅求用java 翻译c 代码 更多帖子 关注私信空间博客 zayliu1 等级 本版专家分：0: 我的也报错
期待大神

hddtmn@bB0203007:~> /usr/lib/oozie/bin/oozie job -oozie http://localhost:11000/oozie -log 0000020-140401110935084-oozie-oozi-W
2014-05-14 14:03:08,675  INFO ActionStartXCommand:539 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@:start:] Start action [0000020-140401110935084-oozie-oozi-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2014-05-14 14:03:08,676  WARN ActionStartXCommand:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@:start:] [***0000020-140401110935084-oozie-oozi-W@:start:***]Action status=DONE
2014-05-14 14:03:08,676  WARN ActionStartXCommand:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@:start:] [***0000020-140401110935084-oozie-oozi-W@:start:***]Action updated in DB!
2014-05-14 14:03:08,745  INFO ActionStartXCommand:539 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] Start action [0000020-140401110935084-oozie-oozi-W@hive-node] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2014-05-14 14:03:10,080  WARN HiveActionExecutor:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] credentials is null for the action
2014-05-14 14:03:19,098  INFO HiveActionExecutor:539 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] checking action, external ID [job_201404020957_0114] status [RUNNING]
2014-05-14 14:03:19,100  WARN ActionStartXCommand:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] [***0000020-140401110935084-oozie-oozi-W@hive-node***]Action status=RUNNING
2014-05-14 14:03:19,101  WARN ActionStartXCommand:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] [***0000020-140401110935084-oozie-oozi-W@hive-node***]Action updated in DB!
2014-05-14 14:03:34,355  INFO CallbackServlet:539 - USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] callback for action [0000020-140401110935084-oozie-oozi-W@hive-node]
2014-05-14 14:03:34,418  INFO HiveActionExecutor:539 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] action completed, external ID [job_201404020957_0114]
2014-05-14 14:03:34,448  WARN HiveActionExecutor:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [9]
2014-05-14 14:03:34,537  INFO ActionEndXCommand:539 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@hive-node] ERROR is considered as FAILED for SLA
2014-05-14 14:03:34,585  INFO ActionStartXCommand:539 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@fail] Start action [0000020-140401110935084-oozie-oozi-W@fail] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2014-05-14 14:03:34,585  WARN ActionStartXCommand:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@fail] [***0000020-140401110935084-oozie-oozi-W@fail***]Action status=DONE
2014-05-14 14:03:34,585  WARN ActionStartXCommand:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[0000020-140401110935084-oozie-oozi-W@fail] [***0000020-140401110935084-oozie-oozi-W@fail***]Action updated in DB!
2014-05-14 14:03:34,646  WARN CoordActionUpdateXCommand:542 - USER[hddtmn] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000020-140401110935084-oozie-oozi-W] ACTION[-] E1100: Command precondition does not hold before execution, [, coord action is null], Error Code: E1100

log 其中有一行信息 Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [9]，这个地方有错误？

2014-05-14 15:43:33

点赞只看TA 引用举报 #6得分 0

⋅zhoushuai3066的留言板 ⋅您好~我的csdn博客被关闭了？说是违反规则，我不清楚是什么原因？能解释下吗？ ⋅[已处理] 博客被屏蔽了。有快2周了。 更多帖子 关注私信空间博客 版主 zhoushuai3066 等级 本版专家分：0: 默认好像是只支持到0.10.

2014-05-26 15:10:14

点赞只看TA 引用举报 #7得分 0

收起

收藏回复

greatmind829

等级：

关注私信 TA的帖子

Oozie WorkFlow中Hive Action案例: 官方地址 http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_HiveActionExtension.html 复制样例重新命名后对hive进行修改 ...mv oozie-apps/hive hive-select 修改hiv...

Oozie中Hive action配置时的注意事项: TODO

Parameters在Oozie的hive action中的使用: 从hive action中获取结果，传入下一个hive action

用oozie执行pigAction与hiveAction的问题: oozie执行action时锁涉及到的jar包，都是用的oozie.libpath指定的sharelib路径中的jar包。而pig和hive都依赖了antlr-x.x.x.jar。最要命的是，他们两个还依赖的是不同版本的antlr。我用的是pig-0.10.0和...

JAVA端通过Oozie Client 启动Oozie任务: oozie虽然内置了条件触发，但有时当我们的触发条件比较...Workflow.xml指定任务内所需配置文件等信息，如hive的配置文件等。需要注意必须指定user.name，否则将导致权限错误，使程序一直处于Hold状态。 1、JAVA端调用

在Oozie 中调度执行shell、hive 脚本，以及通过shell脚本执行hive/sqoop/shell脚本的方法: oozie 是一个非常不错的页面可视化程序调度器，优点很明显，但缺点也很多，最恶心的是不支持动态的参数，以及使用sqoop时非常麻烦，因此，最好的方法自然是通过oozie调度一个shell调度脚本，由shell脚本再去调度执行...

Oozie workflow工作流action间参数传递实现: 假设workflow里有两个action节点，shell和hive，hive需要用到shell节点里的值，shell脚本如下 #!/bin/sh day=`date '+%Y%m%d%H'` echo "day:$day" hive节点需传入day这个参数。需要用到shell节点里这个属性，如下 ...

oozie hive action注意事项: 注：本文指针对版本oozie-3.2.0-incubating。 oozie-hive注意事项： ...理论上将hive相关的配置放在oozie.hive.defaults属性指定的文件(hive-default.xml)即可，如下： oozie.hive.defaults hiv

【Oozie】Oozie中工作流workflow的定义及各种Action的配置运行: Oozie中workflow的构成及mapreduce、hive、sqoop、shell action的配置运行。

Hive In Oozie Workflow: 当然，在每天的数据处理中，我们为了简化编码工作量，以及使用到数据分析人员积累的成果，可以直接使用或简单修改他们提供的hql脚本进行数据处理，并且使用Oozie调度hive作业。在此介绍一下Hive action的编写，也...

HIVE以及OOZIE添加第三方JAR包的方法: 很多时候，我们需要在HIVE中引入第三方jar包或者是自己编写的“UDF”jar包。在HIVE中，涉及指定外部jar包的配置有两个地方： hive-site.xml中的配置项“hive.aux.jars.path” 环境变量：HIVE_AUX_JARS_PATH 从目前的...

oozie定时调用sqoop从oracle中增量导入数据至hive表: 说明：在大数据开发中，由于数据量非常的大，有时候需要将关系型数据库（Oracle/Postgresql/Mysql等）中的表...本文就oozie定时调用sqoop从oracle库中增量导入数据至hive表涉及到的问题做了详细的讨论，仅供参考。

Apache Hue: Hue集成Oozie--hue调度shell脚本--hue调度hive脚本--hue调度MapReduce程序--Hue配置定时调度...: Hue集成Oozie 修改hue配置文件hue.ini [liboozie] # The URL where the Oozie service runs on. #This is required in order for # users to submit jobs. Empty value disables the config check. oozie_url=...

oozie 工作流调度引擎总结(一): oozie是服务于hadoop生态系统的工作流调度工具，job运行平台是区别于其他调度工具的最大的不同。但其实现的思路跟一般调度工具几乎完全相同。首先是作为调度系统两大核心：依赖和触发。依赖可以是条件依赖，比如，...

使用oozie调度hive: 第一步：拷贝hive的案例模板 cd /export/servers/oozie-4.1.0-cdh5.14.0 cp -ra examples/apps/hive2/ oozie_works/ 第二步：编辑hive模板这里使用的是hiveserver2来进行提交任务，需要注意我们要将...

Cloudera Manager 中Oozie 配置HIVE workflow: hive配置很简单，oozie配置中的问题可以看我的上一篇博客。分为几步， 1 hive-site.xml 及对应版本的hive的jar包，都要上传到hdfs。你肯定在hdfs上已经建立了对应的目录。针对我装的cm5.7，相

CDH安装Oozie/Hue，以及其基本使用: 安装Oozie：关于Oozie 安装Hue 关于Hue Hue的入门级使用参考安装Oozie： 1.登录数据库后： create database oozie default character set utf8; grant all privileges on oozie.* to ‘oozie’@...

oozie: 该框架使用 Oozie 协调器促进了相互依赖的重复工作之间的协调，您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本练习的一部分，Oozie 运行了...

基于Hadoop生态圈的数据仓库实践 —— ETL（三）: 三、使用Oozie定期自动执行ETL1. Oozie简介（1）Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作...Oozie支持的作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive

Hue + Oozie + Sqoop 使用: 有个刚接触的人不知道的是，Oozie 自带 sqoop、hive 等常用组件，比如执行sqoop脚本命令时，并不是你主机里或者CDH里的的sqoop，而是 HDFS 下 Oozie 里的 sqoop 在起作用，这也是为什么总是报 Could not load db ...

HDP 2.2.4 Hue Oozie Editor生成workflow.xml的几点问题: 关于chema的版本：oozie最高只能是0.4，hive-action最高只能是0.2, istcp-action最高只能是0.1！！对于jobTracker和nameNode属性，hue的oozie designer生成的workflow.xml文件是hard code使用的!!

oozie调度sqoop踩坑之路（hue配置）: 通过oozie来调度管理sqoop数据抽取流程，一般有两种方法：一是直接使用oozie的sqoop-action，二是将sqoop语句写在shell脚本中，通过shell-action来调度。经过测试，sqoop-action实在是坑多，故采用坑相对较少的shell...

如何使用Hue上创建一个完整Oozie工作流: 对于需要多个作业顺序执行的情况下，如何能够方便的构建一个完整的工作流在CDH集群中执行，前面Fayson也讲过关于Hue创建工作流的一系列文章具体可以参考《如何使用Hue创建Spark1和Spark2的Oozie工作流》、《如何使用...

Oozie4.2.0配置安装实战: 软件版本：Oozie4.2.0，Hadoop2.6.0，Spark1.4.1，Hive0.14，Pig0.15.0，Maven3.2，JDK1.7，zookeeper3.4.6，HBase1.1.2，MySQL5.6集群部署：node1~4.centos.com node1~4 192.168.0.31~34 1G*4 内存 1核*4 虚拟机...

Hue集成Oozie: 5.1．修改hue配置文件hue.ini [liboozie] # The URL where the Oozie service runs on. This is required in order for # users to submit jobs. Empty value disables the config check. oozie_url=...

OOzie调度sqoop1 Action 从mysql导入数据到hive: 用oozie调度sqoop1 Action 需要准备三个基本文件，workflow.xml、job.properties、hive-site.xml（其实也可以不要，后面会说）文件 1、在HDFS创建一个oozie的工作流应用保存路径，我创建的是/user/oo

任务调度框架Oozie学习笔记: 目录 1. 工作流调度框架Oozie功能初步认识 ...4. Oozie安装部署 5. Oozie案例运行MapReduce Wordflow讲解 6. 如何定义OoozieWorkflow讲解 7. Oozie Workflow中MapReduce Action定义讲解 8. 编写Oozie...

什么是Oozie？如何使用Oozie？蒟蒻博主带你快速上手Oozie!: 写在前面：博主是一名软件工程系大数据应用开发专业大二的学生，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和...

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]: 转：http://stackoverflow.com/questions/19323611/simple-oozie-shell-action-from-rest-api-fails ... oozie shell action from REST API fails up vote0down votefavorite

oozie的任务串联: 在实际工作当中，肯定会存在多个任务需要执行，并且存在上一个任务的输出结果作为下一个任务的输入数据这样的情况，所以我们需要在workflow.xml配置文件当中配置多个action，实现多个任务之间的相互依赖关系 ...

相关热词 c#等比例压缩图片大小 c# word 替换 c# mysql插入 c#窗体上的叉添加事件 c#打印图片文件 c#後台調前台js c#控制台美化 c#获取当前的农历日期 c# 构造函数重载 c#代码修改服务器时间