oozie+sqoop ClassNotFound

The_facE 2013-05-22 04:51:43
想用oozie跑一个sqoop的action
写了个workflow如下

<workflow-app xmlns='uri:oozie:workflow:0.4' name='sqoop-workflow'>
<start to='testSqoop'/>
<action name='testSqoop'>
<sqoop xmlns='uri:oozie:sqoop-action:0.2'>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<arg>import</arg>
<arg>--connect</arg>
<arg>jdbc:mysql://127.0.0.1/snaplb_query</arg>
<arg>--table</arg>
<arg>test_table</arg>
<arg>--username</arg>
<arg>root</arg>
<arg>--password</arg>
<arg>XXOO</arg>
<arg>--hive-import</arg>
<arg>--hive-partition-key</arg>
<arg>dt</arg>
<arg>--hive-partition-value</arg>
<arg>2013-05-22</arg>
</sqoop>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name='fail'>
<message>Sqoop copy shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name='end'/>
</workflow-app>



运行时错误Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SqoopMain], main() threw exception, org/apache/sqoop/Sqoop
java.lang.NoClassDefFoundError: org/apache/sqoop/Sqoop
at org.apache.oozie.action.hadoop.SqoopMain.runSqoopJob(SqoopMain.java:205)
at org.apache.oozie.action.hadoop.SqoopMain.run(SqoopMain.java:174)
at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:37)
at org.apache.oozie.action.hadoop.SqoopMain.main(SqoopMain.java:47)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:491)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:333)
at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.mapred.Child.main(Child.java:262)
Caused by: java.lang.ClassNotFoundException: org.apache.sqoop.Sqoop
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
... 17 more
sqoop的jar包好好的在sqoop的路径下,我甚至尝试把它拷贝到mapreduce的lib下,oozie任务在加载mapreduce的jar包时加载了所有mapreduce下的jar包,单单把sqoop的包抛出去了,我猜想应该在哪里改配置可以搞定,问问大家有谁明白的给指条明路,谢谢
...全文
661 11 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
11 条回复
切换为时间正序
请发表友善的回复…
发表回复
ybwang 2016-01-14
  • 打赏
  • 举报
回复
you need to supply a job.properties with oozie.use.system.libpath=true 参考http://stackoverflow.com/questions/31418739/cdh-5-4-4-oozie-unable-to-run-sqoop-action-classnotfound-sqoopmain
sinat_31563089 2016-01-14
  • 打赏
  • 举报
回复
you need to supply a job.properties with oozie.use.system.libpath=true 参考http://stackoverflow.com/questions/31418739/cdh-5-4-4-oozie-unable-to-run-sqoop-action-classnotfound-sqoopmain
Applexiaoxiaoben 2013-05-25
  • 打赏
  • 举报
回复
你好,请问 mahout跟oozie做过整合使用吗? 如果没有oozie跟java程序呢?并且java程序是执行一个mahout命令行算法的
The_facE 2013-05-24
  • 打赏
  • 举报
回复
搞定了,索性把sqoop的jar包放到workflow所在路径的lib下了
撸大湿 2013-05-23
  • 打赏
  • 举报
回复
你的LIB缺少SQOOP包的引用,这个需要LZ仔细检查 还有一种可能,你的LIB库环境脏了 这是由于LIB库中的某种JAR,存在者不同版本,重复添加不同版本的JAR也会导致这种问题
撸大湿 2013-05-23
  • 打赏
  • 举报
回复
我没玩过oozie,oozie有自己的lib目录吗 如果有的话,把sqoop的jar包放进去试试 或者在CLASSPATH中加入sqoop的包
The_facE 2013-05-23
  • 打赏
  • 举报
回复
引用 2 楼 Applexiaoxiaoben 的回复:
是不是sharelib的问题呢?
这个是什么问题?怎么改?
The_facE 2013-05-23
  • 打赏
  • 举报
回复
引用 1 楼 Applexiaoxiaoben 的回复:
你好,请问你的hadoop跟sqoop,oozie都是什么版本呢?只是写了工作流跟job配置吗?jar包之类的呢?可以具体说下过程吗?我报的错误是找不到sqoop标签
hadoop版本Hadoop 2.0.0-cdh4.2.0 oozie版本 3.3.0-cdh4.2.0 sqoop版本 1.4.2-cdh4.2.0 全是cdh4.2.0集成的 我只写了workflow,简简单单只是跑了一个sqoop命令,用不着做jar包
The_facE 2013-05-23
  • 打赏
  • 举报
回复
引用 3 楼 tntzbzc 的回复:
我没玩过oozie,oozie有自己的lib目录吗 如果有的话,把sqoop的jar包放进去试试 或者在CLASSPATH中加入sqoop的包
oozie有自己的lib目录,我也试过了,不行 hadoop或者mapred的CLASSPATH不知道在哪儿配置,头疼
Applexiaoxiaoben 2013-05-22
  • 打赏
  • 举报
回复
是不是sharelib的问题呢?
Applexiaoxiaoben 2013-05-22
  • 打赏
  • 举报
回复
你好,请问你的hadoop跟sqoop,oozie都是什么版本呢?只是写了工作流跟job配置吗?jar包之类的呢?可以具体说下过程吗?我报的错误是找不到sqoop标签

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧