Hadoop生态社区
Hbase压缩队列一直顶的很高
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区才开始接手时，Hbase的压缩队列超级大，能彪到十来万
摸索了一段时间后发现了几个点，配置用的Hbase的默认配置，压缩格式用的gz压缩格式；列族只有一个，我针对这一情况做了配置调优情况，总体的调优准则是：
1、减少压缩频率，增多压缩文件
2、减少刷新频率
但是调优后发现，确实是增长缓慢了，但是压缩速度还是跟不上数据写入，刷新，等待compaction的速度
调整的配置相关如下：
RS Java堆内存设置：30G
hbase.hstore.compaction.max HStoreFiles压缩最大数量: 20
hbase.hregion.memstore.flush.size刷新大小: 128M
hbase.hregion.memstore.block.multiplier memstore块乘法器: 8
hbase.hstore.compactionThreshold压缩阈值: 10
hbase.regionserver.thread.compaction.small小型压缩线程:5
现在还在学习并尝试其他参数的优化，劳烦有经验的大佬多多提议以及指正
...全文
