如何把sql server中的数据导入hive,再导入hbase

芥末8.9 2015-06-27 05:15:00
关系型数据库(如sql server, oracle, mysql)中某张表的主键为复合主键,如何把这张表的数据导入hive?再把该表数据导入到HBase中去?
...全文
1623 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
久雨初晴312 2016-04-19
  • 打赏
  • 举报
回复
hbase 连接hive创建的外部表,然后通过insert 插入数据查看到 插入的数据与上传的数据位置不匹配,出现错乱是什么原因,难道inser 的插入数据顺序不应该和之前定义的数据顺序一样吗
alinly 2015-09-15
  • 打赏
  • 举报
回复
建议你导入到hbase, 然后hive中创建外部表,连接hbase.
  • 打赏
  • 举报
回复
从sql server 到hive可以使用sqoop,hive到hbase有两种方式,一是 bulkload到hbase,二是打通hive到hbase的接口,让hive可以直接读hbase中的内容,这样就可以直接将hive中的表插入到hbase中去。
芥末8.9 2015-07-24
  • 打赏
  • 举报
回复
引用 4 楼 莫忘的回复:
方法1.可以用用SQOOP直接把SQLSERVER的数据直接导入Hbase 方法2.先把SQLSERVER数据导出成文件,再把文件Put到HDFS上,对应Hive表目录,最后可以在Hbase表上创建一张Hive的外部表关联Hbase表,通过Insert into把Hive的数据插入到Hbase表中
表的主键是复合主键啊!
莫忘 2015-07-14
  • 打赏
  • 举报
回复
方法1.可以用用SQOOP直接把SQLSERVER的数据直接导入Hbase 方法2.先把SQLSERVER数据导出成文件,再把文件Put到HDFS上,对应Hive表目录,最后可以在Hbase表上创建一张Hive的外部表关联Hbase表,通过Insert into把Hive的数据插入到Hbase表中
芥末8.9 2015-06-28
  • 打赏
  • 举报
回复
引用 1 楼 laol850 的回复:
把表结构刷清晰点,不然后面的人怎么回答你,不具体
比如我在sql server中有一张表,表中有3个字段,id, name, age。 表的主键为复合主键,由字段id和字段name组成。现在我要把这张表中的数据先导入到hive中, 再从hive中导入到hbase中。数据中id是有重复的,name也是有重复的,id和name的组合是唯一的。
芥末8.9 2015-06-28
  • 打赏
  • 举报
回复
比如我在sql server中有一张表,表中有3个字段,id, name, age。 表的主键为复合主键,由字段id和字段name组成。现在我要把这张表中的数据先导入到hive中, 再从hive中导入到hbase中。数据中id是有重复的,name也是有重复的,id和name的组合是唯一的。
laol850 2015-06-28
  • 打赏
  • 举报
回复
把表结构刷清晰点,不然后面的人怎么回答你,不具体

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧