社区
Power Linux
帖子详情
如何确定一个合适的region?
mataer
2016-08-01 11:31:19
如何确定一个合适的region???
求解答啊
...全文
933
2
打赏
收藏
如何确定一个合适的region?
如何确定一个合适的region???求解答啊
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
SongDongmei
2016-08-03
打赏
举报
回复
region的大小首先跟你数据的大小有关系,通常region要尽量分布到所有节点上。但是如果一个表很小,也可能一个region就够了。 另外,每个节点上的region数量不要太多,如果一个节点上有几千个region,会占用太多资源。反之,数据量很大的情况下,region数量太少了也不好,因为region大小超过限额会split。 除了这些比较极端的情况,记住两个原则就可以了,1,尽量均匀分布到所有节点,设置rowkey的时候就得设置好,一旦发生数据倾斜性能会被拖累。2,尽量预先分好region,并且把region大小设置成一个较大的值,避免发生split。
dingybin
2016-08-03
打赏
举报
回复
您好,您能明确下在什么情况下确定region么?
通俗易懂的Hbase升级版教程(含配套资料)
HBase是
一个
基于HDFS的分布式、面向列的开源数据库,是
一个
结构化数据的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。是每
一个
大数据都应该掌握的基本框架。在本课程中,主要讲述了HBase详细的架构原理及特点、HBase内部各个角色的详细介绍、安装配置、HBase的Shell操作、新旧版本的读写数据详细流程、HBase的API操作、使用MapReduce以及Hive对HBase数据分析、Rowkey设计、预分区设计、调优策略以及结合微博项目将核心知识点再次梳理,更熟练的运用HBase。 更新:课件升级、数据Flush流程和Compact流程、
Region
切分流程
Hbase之-
Region
是什么?如何split?如何merge?(
region
数量,
region
拆分策略,
region
split)
Hbase之-
Region
是什么?如何split?(
region
数量,
region
拆分策略,
region
) 拆分流程) 具体可以参考博客:
Region
是什么?怎么玩? 在Hbase中,
Region
是分布式Table中的分区存储单元,每
一个
Region
代表特定rowkey区间内的数据片段,每个
Region
中存储着1到多个存储Store,每个Store对应Table中的
一个
ColumnFamily,每个Store中包含
一个
MemStore的写缓存。
一个
Region
Server下的所有的
Region
共享
一个
Hlo
HBase最佳实践之
Region
数量&大小
Region
数量 通常较少的
region
数量可使群集运行的更加平稳,官方指出每个
Region
Server大约100个
region
s的时候效果最好,理由如下: HBase的
一个
特性MSLAB,它有助于防止堆内存的碎片化,减轻垃圾回收Full GC的问题,默认是开启的。但是每个MemStore需要2MB(
一个
列簇对应
一个
写缓存memstore)。所以如果每个
region
有2个family列簇,...
一个
目录下放多少文件
合适
?
一个
目录下放多少文件
合适
? 6月 10th, 2008 作者:瞄的技术 Filed under: linux 在linux各种文件系统上,
一个
目录放多少文件
合适
?这个问题貌似没有准确的答案,至少我没查到。我以前的同事说是文件超过3000后,查找文件的性能会下降。这个问题决定例如:图片这种文件是按照什么样的存放规则放在存储上,如果同一目录存放文件数量过多会降低文件的查找时间,如果
HBase最佳实践 | 合理的
Region
数量与大小
Region
数量通常较少的
region
数量可使群集运行的更加平稳,官方指出每个
Region
Server大约100个
region
s的时候效果最好,理由如下:HBase的
一个
特性MSLAB,...
Power Linux
742
社区成员
901
社区内容
发帖
与我相关
我的任务
Power Linux
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
复制链接
扫一扫
分享
社区描述
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章