hbase+hive整合问题

qlloveu 2017-06-28 10:01:30

先说下我的理解,如上图所示,hbase做数据实时查询,hive做数据分析,数据从hbase或者hive端用相应的工具如sqoop从外部导入,虽然导入的数据都是存储在同一个hdfs上,但是导入的表数据在hive和hbase中是互相看不见的,因为它们各自维护了一套自己的映射规则。我的疑问是:现在有没有成熟的解决方案来整合hbase和hive,让它们互通,各自查询的表数据是同一份hdfs数据。现在网上有整合的案例,好像也只是让hive可以查询hbase,并没有做到真正的互通。
...全文
349 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
tom_fans 2017-07-04
  • 打赏
  • 举报
回复
HIVE和HBASE怎么可能直接通,不过是用HIVE外部表来做。 可以这样,数据导入HBASE, 然后每个表建立一个HIVE外部表链接到HBASE, 这样HBASE也能查询,HIVE也可以。 题外话, HIVE实在是太慢,选择IMPALA+KUDU是最合理的方式。 SPARK SQL实际性能也不咋地,不过SPARK SQL很方便,所以也很多人用。

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧