sqoop从mysql向hive导入数据成功但在hive中不显示

一无所有自知之明 2011-11-09 09:16:58

sqoop导入mysql的表到hive中，从hdfs中可以看到hive下有了导入的表及数据，
但是hive的外壳中输入 show tables 却没有显示新导入的表

...全文

606 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

developerinit 2013-05-07

打赏
举报

回复

敢问楼主仁兄你搞出来没？求分享。。。

洪荒上仙 2013-04-12

打赏
举报

回复

怎么搞的，，，？？

一无所有自知之明 2011-11-11

打赏
举报

回复

还是得自己搞出来啊

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。本视频从讲解sqoop原理开始,详细讲述了sqoop的安装,使用案例和常用的命令,实现快速上手sqoop的使用

sqoop从musql导入到hive中数据缺失 sqoop是大数据架构中常用的数据导入导出组件之一，只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中。但在实际使用过程中，常常会碰到一些问题，导致从数据库导入到数据仓库发生数据丢失的问题，以下将发生数据丢失的情况分为三种类型：一、工具使用者使用不善导致的 sqoop数据导入过程为：将mysql数据导入到hdfs文件路径，然后再从该hdfs文件路径load到hive表中。所以需要用户指定hdfs文件路径，如下的${TMP_DIR}，此时一定要保证

使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下：添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO

首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余 1 向hive导入时报错ClassNotFound hive.metastore.jar 发生这种情况时，sqoop的lib的无法找到hive的jar包可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了 2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常需要将hive的表格存储

sqoop导入mysql到hive

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章