社区
Hadoop生态社区
帖子详情
hbase的region
西红小柿
2017-03-21 12:02:07
当一个region数据存储达到极限,分裂成两个region,那么上面的新增rowkey是如何继续添加的?
...全文
1043
3
打赏
收藏
hbase的region
当一个region数据存储达到极限,分裂成两个region,那么上面的新增rowkey是如何继续添加的?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
西红小柿
2017-06-12
打赏
举报
回复
region分裂时,会找到rowkey的midkey作为分裂界点,然后新插入的数据会放入到startkey最大的那个region上,另外一个region既成为一个半满状态的region,为了避免这种情况,我们避免这种情况发生,根据实际情况来提前进行预分区。比如我一个region放入一百万条数据。我大概有2000万条数据,那么建立20个分区即可
小风0092
2017-03-22
打赏
举报
回复
region a: 100->200 分裂 region b1: 100->150 region b2: 151->200 插入key:160,放到region b2
LinkSe7en
2017-03-21
打赏
举报
回复
每个region负责各自的startKey~endKey。你新分配的rowKey属于哪个region的范围,就会被放在该region上
HBase
Region
原理总结归纳
HBase
Region
原理总结 1. 环境准备 基于Hadoop 3.2.1 基于zookeeper 3.4.6 基于
Hbase
2.2.5 资料来源: 官网http://
hbase
.apache.org/2.2/book.html 网络博客、视频等资料 2.
HBase
数据存储概述 2.1
hbase
概述
HBase
是基于hdfs的一个数据库,也就是本身
Hbase
的数据存储在hdfs中。默认的,文件会分布式存储在hdfs节点中,并且按照128MB一块进行切分,并且会保存3份 hdfs中数据不适合
HBase
原理之
HBase
Region
合并解析
1.概述
HBase
表的基本单位是
Region
,日常调用
HBase
API操作一个表时,交互的数据也会以
Region
的形式进行呈现。前面介绍过
HBase
Region
切分策略原理,一个表可以有若干个
Region
,本文主要介绍
Region
合并的一些问题和解决方法。 2.内容 在分析合并
Region
之前,我们先来了解一下
Region
的体系结构,如下图所示: 从图中可知,能够总结以下知...
hbase
region
合并代码
hbase
region
数优化
HBase
系列--
HBase
Region
合并
1.为什么要合并
region
这个需要从
Region
的Split来说。当一个
Region
被不断的写数据,达到
Region
的Split的阀值时(由属性
hbase
.h
region
.max.filesize来决定,默认是10GB),该
Region
就会被Split成2个新的
Region
。随着业务数据量的不断增加,
Region
不断的执行Split,那么
Region
的个数也会越来越多。 一个业务表的
Region
越多,在进行读写操作时,或是对该表执行Compaction操作时,此时集群的压力是很大的。这里笔者做过一个线上
HBASE
Region
数量增多问题描述及解决方案
文章目录
HBASE
Region
数量增多问题描述及解决方案1. 问题描述1.1
HBase
分区概念1.2
region
过多影响1.3 合理
region
数量2. 方案概述2.1 ROWKEY 修改方案细节2.1.1 Rowkey长度原则(最好不超过16字节)2.1.2 rowkey散列原则2.1.3 rowkey唯一原则2.1.4 时间戳反转2.1.5 整个rowkey如下(timestamp并不...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章