hbase预分区

静谭水月 2019-11-20 04:14:52

为什么region预分区以后再切分是按照默认10g的条件切，为什么不按照r^2*block.max切 min（r^2*block.max，默认的10g）

...全文

214 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有start key和end key，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断增加，region的size越来越大时，大到一定的阀值，hbase认为再往这个region里塞数据已经不合适了，就会找到一个midKey将region一分为二，成为2个region,这个过程称为分裂(region-split).而midKey则为这二个region的临界，左为N无下界，右为M无上界。 midKey则会被塞到M区。在此过程中，会产生两个问题：【1】热点写，总是会往最大的start-

#资源达人分享计划#

hbase的Rowkey设计⽅案 1.1 hbase的概述的概述 HBase由于其存储和读写的⾼性能，在OLAP即时分析中越来越发挥重要的作⽤。作为Nosql数据库的⼀员，HBase查询只能通过其 Rowkey来查询(Rowkey⽤来表⽰唯⼀⼀⾏记录)，Rowkey设计的优劣直接影响读写性能。由于HBase是通过Rowkey查询的，⼀般Rowkey上都会存⼀些⽐较关键的检索信息，我们需要提前想好数据具体需要如何查询，根据查询⽅式进⾏数据存储格式的设计，要避免做全表扫描，因为效率特别低。此外易观⽅⾈也使⽤HBase做⽤户画像的标签存储⽅案，存储每个app的⽤户的⼈⼝学属性和商业属性等标签信息。 HBase中设计有MemStore和BlockCache，分别对应列族/Store级别的写⼊缓存，和RegionServer级别的读取缓存。如果RowKey过长，缓存中存储数据的密度就会降低，影响数据落地或查询效率。 1.2 hbase的设计原则以及解决⽅法的设计原则以及解决⽅法 1.3 预分区预分区 1.3.1 什么是预分区什么是预分区 HBase表在刚刚被创建时，只有1个分区（

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章