HBASE如何在TB级别上的数据做实时join操作

sanguomi 2014-03-15 09:09:16

原始数据
表A ID url
表B ID key
这两张表的数据都会上T
想要的做的是表B的key在表A中出现过的记录
现在表结构不太好定义，另外想要做的是实时查询

...全文

730 5 打赏收藏转发到动态举报

写回复

用AI写文章

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

herofour444 2014-05-26

打赏
举报

今天上午听说有人把索引键在mongodb上

vah101 2014-05-20

打赏
举报

hive 整合 hbase phoenix

herofour444 2014-05-20

打赏
举报

关注。。。。

撸大湿 2014-03-18

打赏
举报

先搞倒排索引

⼤数据场景化解决⽅案⼤数据场景化解决⽅案 1.⼤数据的概念维基百科的定义：⼤数据是指利⽤常⽤软件⼯具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 2.⼤数据主流技术数据采集：使⽤Flume，可进⾏流式⽇志数据的收集。使⽤Sqoop可以交互关系型数据库，进⾏导⼊导出数据。使⽤爬⾍技术，可在⽹上爬取海量⽹页数据。数据存储与管理：⼤数据利⽤分布式⽂件系统HDFS、HBase、Hive，实现对结构化、半结构化和⾮结构化数据的存储和管理。数据处理与分析：利⽤分布式并⾏编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析。 3.场景化解决⽅案在⾯对不同的场景时，会使⽤不同的⼤数据组件去解决处理，主要有如下⼤数据场景化解决⽅案。离线批处理实时检索实时流处理融合数仓 3.1 离线批处理离线批处理，是指对海量历史数据进处理和分析，⽣成结果数据，供下⼀步数据应⽤使⽤的过程。离线批处理对数据处理的时延要求不⾼，但是处理的数据量较⼤，占⽤的计算存储资源较多，通常通过MR作业、Spark作业或者HQL作业实现。离线批处理的特点: 处理时间要求不⾼处理数据量巨⼤处理数据格式多样占⽤计算存储资源多离线处理常⽤的组件： HDFS：分布式⽂件系统，为各种批处理引擎提供数据存储，可以存储各种⽂件格式数据。 YARN：资源调度引擎，为各种批处理引擎提供资源调度能⼒。 MapReduce：⼤数据批处理引擎，⽤于处理海量数据，但是处理速度较慢。 Hive：⼤数据SQL批处理引擎，⽤于处理SQL类批处理作业，但是处理速度较慢。 Spark：基于内存的数据处理引擎，适合海量数据，处理速度⾼效。 Spark SQL：Spark处理结构化数据的⼀个模块。 HDFS介绍 HDFS(Hadoop Distributed File System)基于Google发布的GFS论⽂设计开发。其除具备其它分布式⽂件系统相同特性外，HDFS还有⾃⼰特有的特性：⾼容错性：认为硬件总是不可靠的。⾼吞吐量：为⼤量数据访问的应⽤提供⾼吞吐量⽀持。⼤⽂件存储：⽀持存储TB-PB级别的数据。 HDFS适合：⼤⽂件存储与访问流式数据访问 HDFS不适合：⼤量⼩⽂件存储随机写⼊低延迟读取 HDFS回收站机制：在HDFS⾥，删除⽂件时，不会真正的删除，其实是放⼊回收站，回收站⾥的⽂件可以⽤来快速恢复误删⽂件。可以设置⼀个时间阀值（单位：分钟），当回收站⾥⽂件的存放时间超过这个阀值或是回收站被清空时，⽂件才会被彻底删除，并且释放占⽤的数据块。 Hadoop回收站trash，默认是关闭的，若开启需要修改配置⽂件core-site.xml。 Hive概述 Hive是基于Hadoop的数据仓库软件，可以查询和管理PB级别的分布式数据。 Hive特性：灵活⽅便的ETL (Extract/Transform/Load)。⽀持MapReduce、Tez、Spark多种计算引擎。可直接访问HDFS⽂件以及HBase。易⽤易编程。 Hive函数：查看系统函数的⽤法：show functions; 显⽰函数的⽤法：desc function upper; 详细显⽰函数的⽤法：desc function extended upper; 当Hive提供的内置函数⽆法满⾜业务处理需要时，此时就可以考虑使⽤⽤户⾃定义函数，编写处理代码并在查询中使⽤。 UDF(User-Defined-Function）⽤于接收单个数据⾏，并产⽣⼀个数据⾏作为输出。 UDAF(User-Defined Aggregation Function）⽤于接收多个数据⾏，并产⽣⼀个数据⾏作为输出。 UDTF(User-Defined Table-Generating Functions）⽤于接收单个数据⾏，并产⽣多个数据⾏作为输出。 Hive调优数据倾斜数据倾斜指计算数据的时候，数据的分散度不够，导致⼤量的数据集中到了⼀台或者⼏台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。⽇常使⽤过程中，容易造成数据倾斜的原因可以归纳为如下⼏点： group by distinct count(distinct xx) join 调优参数：在map中会做部分聚集操作，效率更⾼但需要更多的内存。 set hive.map.aggr=true；此时⽣成的查询计划会有两个MRJob，可实现数据倾斜时负载均衡。 set hive.groupby.skewindata=true; 当连接⼀个较⼩和较⼤表的时候，把较⼩的表直接放到内存中去，然后再对较⼤的表进⾏map操作。 set hive.auto.convert.join=true

HBase 是 BigTable 的开源（源码使用 Java 编写）版本。是 Apache Hadoop 的数据库，是建立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。hbase与hive都是架构在hadoop之上的，都是用HDFS作为底层存储。批量读取吞吐量远不如 HDFS，不适用于批量数据分析的场景。

我们在做实时数据开发的时候，通常要用spark、flink去消费kafka的数据，拿到数据流后会和外部数据库(Hbase、MySQL等)进行维表关联来把数据流打宽。当然了，有些外部数据库不只是存储维度数据，也会有很多事实数据，并且这些数据更新频繁，数据量巨大，但是我们的Flink流也会去实时的join这些巨大的事实表，这就需要选择一个合适的外部数据库作为支持，这个外部数据库一定要满足海量数据高效的读写性能，这样才能满足实时场景的需求，说到这，我们的目光自然而然的落到了Hbase上，来吧，我们直接上图，下..

实验任务1：使用MapReduce批量将HBase表中数据导入到HDFS上。表名和表中数据自拟。实验任务2：使用MapReduce批量将HDFS上的数据导入到HBase表中。表名和数据自拟，建议体现个人学号或姓名。使用Java编程创建表和删除表，表名和列族自拟。实验任务3：在实验任务1和实验任务2的基础上，通过HBase编程，实现创建HBase表，修改HBase表（包括增加列族和删除列族），向HBase表中写入数据，读取HBase表中数据，查看HBase数据库中所有表和表结构功能，建议在一个类中定义多个方法

hbase 简介

Hadoop生态社区

20,811

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章