社区
Hadoop生态社区
帖子详情
hbase+hive整合问题
qlloveu
2017-06-28 10:01:30
先说下我的理解,如上图所示,hbase做数据实时查询,hive做数据分析,数据从hbase或者hive端用相应的工具如sqoop从外部导入,虽然导入的数据都是存储在同一个hdfs上,但是导入的表数据在hive和hbase中是互相看不见的,因为它们各自维护了一套自己的映射规则。我的疑问是:现在有没有成熟的解决方案来整合hbase和hive,让它们互通,各自查询的表数据是同一份hdfs数据。现在网上有整合的案例,好像也只是让hive可以查询hbase,并没有做到真正的互通。
...全文
349
1
打赏
收藏
hbase+hive整合问题
先说下我的理解,如上图所示,hbase做数据实时查询,hive做数据分析,数据从hbase或者hive端用相应的工具如sqoop从外部导入,虽然导入的数据都是存储在同一个hdfs上,但是导入的表数据在hive和hbase中是互相看不见的,因为它们各自维护了一套自己的映射规则。我的疑问是:现在有没有成熟的解决方案来整合hbase和hive,让它们互通,各自查询的表数据是同一份hdfs数据。现在网上有整合的案例,好像也只是让hive可以查询hbase,并没有做到真正的互通。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
tom_fans
2017-07-04
打赏
举报
回复
HIVE和HBASE怎么可能直接通,不过是用HIVE外部表来做。 可以这样,数据导入HBASE, 然后每个表建立一个HIVE外部表链接到HBASE, 这样HBASE也能查询,HIVE也可以。 题外话, HIVE实在是太慢,选择IMPALA+KUDU是最合理的方式。 SPARK SQL实际性能也不咋地,不过SPARK SQL很方便,所以也很多人用。
Hadoop+Spark+
Hive
+
HBase
+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
1、内容概要:Hadoop+Spark+
Hive
+
HBase
+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程
问题
总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、能学到啥:大数据集群及相关组件搭建的详细步骤,了解大数据各组件的用途,深入认识各大数据组件工作原理及优化方案。 4、阅读建议:使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。 5、资源价值:大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结
整合
的文档(包括过程踩坑记录+对应解决方案)。
zookeeper+hadoop+
hbase
+
hive
(集成
hbase
)安装部署教程(超详细).docx
说明: 1. 安装软件版本: jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、
hbase
-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-
hive
-3.1.3 2.本文软件均安装在自建的目录/export/server/下 :sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组 :sudo chown -R ljr:ljr /export 修改目录权限:sudo +771 -R /export -R 表示递归,即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变 3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行,因此从经济和实用性来说,集群的节点一般是奇数个,本文部署4台机器,其容灾能力与部署3台机器一致,即只能宕机1台
HADOOP+
HBASE
+
HIVE
整合
工程和文档
HADOOP+
HBASE
+
HIVE
整合
工程和文档
hadoop2.2+
hbase
0.96+
hive
0.12安装
整合
详细高可靠文档及经验总结
hadoop2.2+
hbase
0.96+
hive
0.12安装
整合
详细高可靠文档及经验总结
妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +
Hive
-0.13.1完全分布式环境
整合
安装文档V1.0.0.docx
资源描述:妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +
Hive
-0.13.1完全分布式环境
整合
安装文档V1.0.0.docx 博客地址:http://blog.csdn.net/u012185296 技术方向:Flume+Kafka+Storm+Redis/
Hbase
+Hadoop+
Hive
+Mahout+Spark ... 云计算技术 版权声明:整理不易,且学且珍惜,仅供学习交流使用,未经允许不得用于任何商业用途,谢谢合作 qq交流群:214293307 云计算之嫣然伊笑(期待与你一起学习,共同进步) 文档说明:该文档属于《云计算之Flume+Kafka+Storm+Redis/
Hbase
+Hadoop+
Hive
技术文档分享V1.0.0(原创文档)》之一 其它相关文档请前往Blog下载 你也可以到博客地址http://blog.csdn.net/u012185296 中去学习相关的云技术之Flume+Kafka+Storm+Redis/
Hbase
+Hadoop+
Hive
+Mahout+Spark ...云计算技术 ..................... 喜欢云计算的朋友可以进qq交流群:214293307,一起学习交流哦!!!
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章