ubuntu下sqoop将数据导入到hdfs出现问题

下雨天不打伞123 下雨天不打伞123 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
hadoop@ubuntu:/usr/local/sqoop-1.2.0-CDH3B4$ bin/sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username sqoop --password sqoop --table test --fields-terminated-by ':' -m 1
15/10/21 20:38:16 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
15/10/21 20:38:16 INFO tool.CodeGenTool: Beginning code generation
15/10/21 20:38:16 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `test` AS t LIMIT 1
15/10/21 20:38:16 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `test` AS t LIMIT 1
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/lib/db/DBWritable
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:643)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:277)
at java.net.URLClassLoader.access$000(URLClassLoader.java:73)
at java.net.URLClassLoader$1.run(URLClassLoader.java:212)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:323)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:268)
at com.cloudera.sqoop.orm.ClassWriter.generateClassForColumns(ClassWriter.java:1091)
at com.cloudera.sqoop.orm.ClassWriter.generate(ClassWriter.java:990)
at com.cloudera.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:82)
at com.cloudera.sqoop.tool.ImportTool.importTable(ImportTool.java:337)
at com.cloudera.sqoop.tool.ImportTool.run(ImportTool.java:423)
at com.cloudera.sqoop.Sqoop.run(Sqoop.java:144)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:180)
at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:218)
at com.cloudera.sqoop.Sqoop.main(Sqoop.java:228)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapreduce.lib.db.DBWritable
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:323)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:268)
... 22 more
...全文

相关推荐

大数据课程体系.docx

大数据课程体系.docx

xxiang85

sqoop的安装和使用

本实验通过练习sqoop的安装和配置,为学习sqoop准备,并且通过练习将mysql中表的数据导入到HDFS上来对sqoop的使用有一个初步的了解。完成sqoop的安装和配置并且练习将mysql数据库里的数据导入到HDFS中。本次环境是:Ubuntu16.04+ jdk1.8.0_73 + hadoop2.7.3 + sqoop-1.4.6 +mysql-5.7.22解压sqoop安装包然后进行配置后,在sqoop的bin目录下输入命令【】检查是否配置成功。然后在mysql中创建表并添加数据最后导入到HDF

不懂开发的程序猿

Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出

Hadoop-Sqoop-Oracle 使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS(VMware) 后端-Java (JDK 1.8), Sqoop(v1.4.7) , Hadoop(v3.3.0) 库-OJDBC(v7),commons-lang-2.6.jar 数据库-AWS RDS, Oracle DatabBase(12c,12.1.0.2.v22) Sqoop简介 Sqoop Hadoop生态系统的采集软件 支持RDBMS和HDFS之间高效大容量批量数据传输的工具 当您要将关系数据库中存储的数据导入到HDFS Hadoop引擎时使用。 可以将来自外部系统的数据导入HDFS并以Hive表和HBase表等各种Hadoop文件格式保存。 Sqoop v2仅支持保存到HDFS 在所有与JDBC

我和这个世界

实验13-sqoop数据集成.docx

实验13-sqoop数据集成.docx

matlab大师

【大数据技术】Ubuntu上Sqoop组件安装与配置:实现HDFS与MySQL数据交互操作指南

内容概要:本文档详细介绍了在Ubuntu系统上安装Sqoop组件的具体步骤。首先,准备安装环境,包括虚拟机系统为Ubuntu,Hadoop安装模式为伪分布式(单节点),以及安装包为Apache Archive Distribution Directory提供的Sqoop(1.4.7)。接着,按照四个主要步骤进行安装:一是解压Sqoop安装包并将其移动到指定路径;二是配置环境变量,通过编辑`/etc/profile`文件添加相关环境变量,并更新生效;三是对Sqoop进行配置,主要是编辑`sqoop-env.sh`文件设置Hadoop、HBase、Hive等相关组件的路径;四是获取并安装MySQL连接器,下载对应版本的驱动程序jar包并放置于Sqoop的lib文件夹中。最后,通过将HDFS中的数据导入到MySQL中来测试安装是否成功,包括创建sqoop数据库、emp_from_hdfs表,以及使用sqoop export命令完成数据导出操作。 适合人群:具有Linux基础、对大数据技术有一定了解的技术人员,尤其是初学者或有一定经验的研发人员希望在Ubuntu环境下搭建Sqoop环境。 使用场景及目标:①需要在Ubuntu系统上构建数据传输工具,实现Hadoop与关系型数据库(如MySQL)之间的数据交互;②为后续的大数据分析处理提供稳定的数据迁移支持,确保能够高效地从传统数据库向Hadoop平台迁移数据。 其他说明:本文档涉及多个外部组件的配置(如Hadoop、HBase、Hive等),在安装Sqoop之前,请确保这些组件已经正确安装并配置好。此外,文中提供了部分参考链接,可辅助解决安装过程中遇到的问题。

陈雨文
评论
收藏 已收藏
分享
返回顶部