hadoop hbase查询问题

xxx_8801 2012-02-24 02:26:40

功能:
hadoop计算完的数据插入hbase里面, 然后web页面查询显示出来,
由于hbase没有分组,排序等功能,所以在web页面跟hbase之间用thrift写了一个中间程序,处理分组,排序什么的, 然后吧最终数据返回给web页面`
问题:
当web页面发情查询请求时,thrift程序就会查询hbase 然后分组排序,但是数据量太大,几百万数据排序,分组,太久
还有当hadoop正在计算的时候,hbase查询很慢(查不动),要停掉hadoop程序后还能勉强查出数据来.
请问针对这种请客谁有好的解决方法?

...全文

538 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

Jaya1989 2013-02-04

打赏
举报

回复

拿HBase当关系型数据库用，死路一条。非要这么做，可以考虑建索引表，根据需要设计rowkey

zhy247 2013-02-04

打赏
举报

回复

impala

gloliver 2012-11-06

打赏
举报

回复

使用HBASE的协处理功能。

小爽昵称已被占用 2012-11-04

打赏
举报

回复

如果是mapreduce计算完的结果应该就是分过组，排了序的吧。可以根据需求再把结果改造下，压入到hbase中。对数据过滤还是在hbase的查询代码中处理吧.. 需求表达明白就容易判断出选型，技术等，容易解决问题。

HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储.HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。本视频从hbase的概述开始,讲解hbase的安装,hbase的shell操作,数据结构和原理到java api操作以及优化,让我们快速上手hbase.

作为大数据主流的框架之一，Hadoop的发展已经进入稳定成熟阶段，针对于大数据处理各个环节当中的问题，都有相应的解决方案，也因此形成了完整的Hadoop生态，其中各个组件的配合，共同完成大数据处理任务。今天我们就主要来聊聊Hadoop和Hbase的关系，详细介绍一下Hadoop Hbase相关的知识。 Hbase，其实是Hadoop Database的简称，本质上来说就是Hadoop系统的数据库，为Hadoop框架当中的结构化数据提供存储服务，是面向列的分布式数据库。这一点与HDFS是不一样的，HDFS是分

Hadoop Hbase Hive 版本对照，官网查询记录，仅供参考。

本文收录在Linux运维企业架构实战系列前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~ 1、认识Hadoop和Hbase 1.1 hadoop简单介绍　　Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。 .

企业硬件设备较多，不利于快速发现设备故障及能源消耗异常。依托于hadoop、hbase搭建大数据分析平台，采用Springboot开发框架搭建一套完善的企业能源监控检测数据分析可视化平台。本次毕设程序基于前后端分离开发模式，搭建企业设备监控，数据管理汇总，大屏分析可视化于一体的企业能源检测系统，实现设备异常状态的及时发现预警，减少故障反应时间。一、程序设计本次能源损耗监控分析平台系统主要内容涉及：主要功能模块：硬件设备数据采集平台，能源数据管理与分析平台主要包含技术：hadoop，hbase，sp

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章