Sqoop 是否支持将parquet中的数据导入至数据库

RUTHDEMON 2016-08-22 07:42:06

现在项目上开发使用Sqoop进行数据迁移，通过sqoop将源系统的数据加载至HDFS上存为Parquet格式，并进行简单处理后存任然存为Parquet格式，现在需要将处理完成后的数据导入至关系型数据库中，Sqoop是否可行？如果不行是否有其他办法可以实现该操作。

...全文

301 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在使用sqoop拉取数据到hive数据库时，如果hive中的表是parquet格式的分区表，那么虽然显示拉取数据成功，但查询数据时会出问题 sqoop拉取语句 /opt/cloudera/parcels/CDH/bin/sqoop import \ --username xxxx \ --...

sqoop是大数据架构中常用的数据导入导出组件之一，只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中。但在实际使用过程中，常常会碰到一些问题，导致从数据库导入到数据仓库发生数据丢失的问题，以下...

1.业务和业务数据量不断增加，需要用到hadoop进行数据分析和存储，现在将mysql数据到到hive，每个mysql表结构都差不多，现在以order_node为例，它的字段类型有bigint,varchar,int,tinyint(1),tinyint(4),datetime,...

场景：从一个mysql数据库的表中导入数据到hive表中 sqoop import \ --connect "jdbc:mysql://ip:3306/mysql库名" \ (指定连接jdbc端口和数据库名称) --username "root" \ (数据库用户名) --password "root...

[root@hadoop01 ~]# sqoop list-databases --connect jdbc:mysql://hadoop03:3306 --username root --password 123456; 查看某个库下的所有表 [root@hadoop01 ~]# sqoop list-tables --connect jdbc:mysql://...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章