hive hbase

wn1251559861 2013-12-04 10:39:00

请问 hive访问hbase的数据没有用mapreduce，如何实现hbase列数据库中的数据的分析？

...全文

266 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

经过一下午，终于测试成功。前期：Hapood平台、Zookeeper、Hbase、Hive都安装好。（安装可以参考其它资源）本Demo版本：jdk1.8.0_171，hadoop-2.7.3，zookeeper-3.4.9，mysql-5.6.40-linux-glibc2.12-x86_64，hbase-1.2.4，apache-hive-2.1.1-binroot@master lib]#...

一般在查询hbase的数据的时候我们可以直接使用hbase的命令行或者是api进行查询就行了，但是在日常的计算过程中我们一般都不是为了查询，都是在查询的基础上进行二次计算，所以使用hbase的命令是没有办法进行数据计算的，并且对于hbase的压力也会增加很多，，这个代码上面我们已经实现过了，但是后续开发过程中很少有人会直接开发mr程序，这个代码的复杂程度比较高，并且会非常大的拖慢我们的开发速度，所以一般我们都会，进行。首先在hive中增加hbase的链接信息。修改hive-site.xml中的值。

Hive支持使用HDFS之外的存储系统作为底层存储系统，其中官方明确支持HBase，Kudu，Druid和JDBC(MySQL等)。 Hive提供了相应的接口 StorageHandlers，用以实现和其他存储系统的整合。本人整理的已有相应实现的其他存储系统有：Phoenix HBase，MongoDB，ElasticSearch等。本文主要讨论Hive整合HBase在使用上的一些关键内容，更详细的内容请参考 HBaseIntegration 。介绍 Hive整合HBase之后，可以通过Hive QL语

安装环境：hbase版本：hbase-1.4.0-bin.tar.gzhive版本： apache-hive-1.2.1-bin.tar注意请使用高一点的hbase版本，不然就算hive和hbase关联成功，执行语句的时候会出现错误(The connection has to be unmanaged)。hive整合hbase，其实就是用hive执行hsql来操作hbase数据库。1、拷贝hb...

①已经安装 Hive，且已完成与 Kerberos、Sentry 的集成；（参考博文②已经安装 HBase，且已完成与 Kerberos 的集成；（参考博文③开启了 Hadoop 的 KMS 服务。

英特尔边缘计算技术

568

社区成员

7,024

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章