社区
Linux/Unix社区
帖子详情
presto连接hbase
linxijie95
2017-01-19 07:46:23
想实现presto连接hbase,实现近实时分析,哪位大神可以帮帮我!!!
...全文
891
2
打赏
收藏
presto连接hbase
想实现presto连接hbase,实现近实时分析,哪位大神可以帮帮我!!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zhmz1326
2017-06-27
打赏
举报
回复
用Hive建立一张对HBase的外部表,然后用Presto查询这个Hive外部表怎么样?(还未亲测过) 参考Impala的做法 http://blog.csdn.net/lipeng_bigdata/article/details/51064968
presto
-
hbase
-connector:
presto
hbase
connector 组件基于
Presto
Connector接口规范实现,用来给
Presto
增加查询
HBase
的功能。相比其他开源版本的
HBase
Connector,我们的性能要快10到100倍以上
Analysys
Presto
-
HBase
连接
器 该组件是根据
Presto
连接
器接口规范实现的,用于增加向
Presto
查询
HBase
的功能。 我们的性能比其他开放源代码版本的
HBase
连接
器快10到100倍。 性能比较 环境 细节 资料大小 事件表包含500万条记录和90个字段 工人 3 硬件 16个逻辑核心64GB内存(分别为
Presto
和
HBase
16GB内存)4T * 2硬盘 详细信息: : 功能点比较 功能性 易观 其他 盐渍表 支持的 不支持 按开始键和结束键扫描 支持的 不支持 批量获取 支持的 不支持 谓词下推(过滤器) 支持的 不支持 客户端扫描 支持的 支持的 插 支持的 支持的 删除 支持的 支持的 建立表格 稍后支持 支持的 环境 Mac OS X或Linux 8u161 +,64位。 Maven 3.3.9+
Presto
Sql 315+ 建造
presto
客户端
presto
统一数据访问网关,可以通过一个客户端访问不同类型的数据库,支持oracle、mysql、postgresql、hive、
hbase
等,代码开源,支持自己开发数据库
连接
器
Facebook数据查询引擎
Presto
教程(含配套资料)
版本:
presto
-server-0.214.tar软件版本
presto
-cli-0.214-executableCentOS71、
presto
的起因 hadoop ---hdfs----MR(java)-----hivehive底层原理用MR,速度比较慢,公司hadoop集群主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询的需求,现在主要借助于hive提供业务人员的查询。hive是基于MR类的SQL查询工具,他会输入的查询SQL解析为MapReduce,能极大的降低使用大数据门槛,让一般的业务人员可以直接准对大数据进行查询,但是有一个利弊,它的查询基于MR,会让人等待比较着急,等待的时间可能是几个小时或者一天。 spark基于内存提高改良的hive,sql,现在factbook在hive上面开发一套利器,准对hive可以通过sql语句快速查询,
presto
。2、Facebook为何开发
Presto
Facebook的2011的数据仓库存储在少量大型hadoopfs集群,Hive是FaceBook在几年前专门为Hadoop打造的一款数据仓库工具,在以前,facebook的科学家和分析师一直靠hive进行数据分析.但hive使用MR作为底层计算框架,是专为批处理设计的,但是随着数据的不断增多,使用hive进行一个简单的数据查询可能要花费分钟或者几个小时,显然不能满足查询需求,FaceBooke也调研了其他比hive更快的工具,但是他们需要在功能有限的条件下做简单操作,以至于无法操作Facebook庞大的数据要求。2012年开始研究自己的框架--
presto
,每日可以超过1pb查询,而且速度比较快,faceBook声称
Presto
的性能比hive要好上10倍或者100倍,
presto
和hive都是facebook开发的
Presto
是一个开源的分布式SQL查询引擎,适用于交互式查询,数据量支持GB到PB字节。
Presto
的设计和编写完全是为了解决Facebook这样规模的商业数据仓库交互式分析和处理速度的问题
Presto
可以做什么
Presto
支持在线数据查询,包括Hive kafka Cassandra关系数据库以及专门数据存储,一条
Presto
查询可以将多个数据源进行合并,可以跨越整个组织进行分析。
Presto
以分析师的需求作为目标,他们期望相应速度小于1秒到几分钟,
Presto
要么在使用速度的快的昂贵的商业方案,提高内存,要么是消耗大量的硬件进行快速查询。(128G 64G)本套课程教给如何在企业环境中使用
Presto
技术。
EasyReport报表工具-其他
EasyReport是一个简单易用的Web报表工具,它的主要功能是把SQL语句查询出的行列结构转换成HTML表格(Table),并支持表格的跨行(RowSpan)与跨列(ColSpan)。同时它还支持报表Excel导出、图表显示及固定表头与左边列的功能。 更新日志: ver2.1 改进图表报表图表生成并增加图表生成配置 定时任务功能完成 支持大数据产品查询引擎(Hive,
Presto
,
HBase
,Drill,Impala等) 提供REST API服务接口 增加报表权限控制 ver2.0 界面交互调整,前端js代码全部重写,方便向AMD模块化转换 报表引擎查询支持CP30、Druid、DBCP2
连接
池 JAVA部分代码重构 加入用户及权限管理模块 数据访问采用mybatis框架,方便二次开发 报表展现支持自定义生成模板
bigtable-sql:分布式大数据SQL查询可视化界面!
Home 访问我的,获取更多大数据/ 云计算的技术文章!各种转载或修改请注明来自www.itweet.cn! bigtable-sql-3.5.0 此软件为基于SQuirreL SQL开源软件二次开发! 分布式大数据SQL查询可视化界面! 中文用户手册. 编译环境 Windows or Linux Java 8, 64-bit Maven 3.1.1+ (for building) 支持组件 hive impala sparksql
presto
drill sql on
hbase
(phoenix) 注意
presto
所支持的jdk为1.8+,即如果该客户端使用的不是1.8+, 则无法
连接
!提供的bigtable-sql-3.5.0.zip安装包,自带一个jdk1.8, 即使系统安装了其他版本jdk或者没有安装jdk也能完美运行! 如果你使用了
Presto
,可体验 请戳! 编译bigt
Linux/Unix社区
18,773
社区成员
11,463
社区内容
发帖
与我相关
我的任务
Linux/Unix社区
Linux/Unix社区 专题技术讨论区
复制链接
扫一扫
分享
社区描述
Linux/Unix社区 专题技术讨论区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章