20,848
社区成员




才开始接手时,Hbase的压缩队列超级大,能彪到十来万
摸索了一段时间后发现了几个点,配置用的Hbase的默认配置,压缩格式用的gz压缩格式;列族只有一个,我针对这一情况做了配置调优情况,总体的调优准则是:
1、减少压缩频率,增多压缩文件
2、减少刷新频率
但是调优后发现,确实是增长缓慢了,但是压缩速度还是跟不上数据写入,刷新,等待compaction的速度
调整的配置相关如下:
RS Java堆内存设置:30G
hbase.hstore.compaction.max HStoreFiles压缩最大数量: 20
hbase.hregion.memstore.flush.size刷新大小: 128M
hbase.hregion.memstore.block.multiplier memstore块乘法器: 8
hbase.hstore.compactionThreshold压缩阈值: 10
hbase.regionserver.thread.compaction.small小型压缩线程:5
现在还在学习并尝试其他参数的优化,劳烦有经验的大佬多多提议以及指正
maxlogs由32 - > 128