HBASE如何在TB级别上的数据做实时join操作

sanguomi 2014-03-15 09:09:16

原始数据
表A ID url
表B ID key
这两张表的数据都会上T
想要的做的是表B的key在表A中出现过的记录
现在表结构不太好定义，另外想要做的是实时查询

...全文

818 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

herofour444 2014-05-26

打赏
举报

回复

今天上午听说有人把索引键在mongodb上

vah101 2014-05-20

打赏
举报

回复

hive 整合 hbase phoenix

herofour444 2014-05-20

打赏
举报

回复

关注。。。。

撸大湿 2014-03-18

打赏
举报

回复

先搞倒排索引

Python操作HBase主要依赖HappyBase（基于Thrift接口封装），提供简洁API支持表操作和CRUD。HBase适合处理PB级海量数据、高吞吐写入和半结构化数据，而PostgreSQL更适用于结构化数据、复杂查询和强事务场景。HappyBase是最推荐的Python SDK，需先启动HBase的Thrift服务。对于大数据分析和时序数据选择HBase，对于复杂业务系统则更适合PostgreSQL。

这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123HBase (Hadoop Database) 是一款基于 Google 的 BigTable 论文设计而来的开源分布式数据库系统。它属于列式存储的非关系型数据库(NoSQL)，专门用于处理超大规模数据集的实时随机读写需求。行式存储 vs 列式存储：MySQL 采用行式存储，即使某些字段为空也会占用存储空间；

本文深入剖析了HBase分布式数据库的核心原理，主要包含以下内容：1) HBase是基于HDFS的列式存储NoSQL数据库，适用于海量数据随机读写场景；2) 详细解析HBase表结构设计，包括RowKey、列族等核心概念；3) 阐述HBase架构组成，包括HMaster、RegionServer等组件协作机制；4) 重点分析数据写入流程，采用WAL日志和MemStore内存缓冲的LSM-Tree存储模型。文章通过图表直观展示了HBase的表结构、整体架构和数据存储机制，帮助读者全面理解HBase的工作原理。

1. HBase简介 1.1 为什么使用HBase 传统的RDBMS关系型数据库（MySQL/Oracle）存储一定量数据时进行数据检索没有问题，可当数据量上升到非常巨大规模的数据（TB/PB）级别时，传统的RDBMS已无法支撑，这时候就需要一种新型的数据库系统更好更快的处理这些数据。我们可以选择HBase。 1.2 HBase的地位 HBase占有举足轻重的作用，它居于HDFS之上...

- 定义主流订单表（从 Kafka/Socket 等）) WITH ('connector' = 'kafka', -- 示例，这里仅做说明-- 定义 MySQL 维表) WITH ('lookup.cache.max-rows' = '5000', -- 启用缓存，最多缓存 5000 条'lookup.cache.ttl' = '60s', -- 缓存条目的 TTL 为 60 秒'lookup.max-retries' = '3' -- 遇到网络或其他错误时最多重试 3 次。

Hadoop生态社区

20,842

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章