Hbase压缩队列一直顶的很高

WebTuBe 2024-05-16 10:12:59

才开始接手时,Hbase的压缩队列超级大,能彪到十来万

摸索了一段时间后发现了几个点,配置用的Hbase的默认配置,压缩格式用的gz压缩格式;列族只有一个,我针对这一情况做了配置调优情况,总体的调优准则是:

1、减少压缩频率,增多压缩文件

2、减少刷新频率

但是调优后发现,确实是增长缓慢了,但是压缩速度还是跟不上数据写入,刷新,等待compaction的速度

调整的配置相关如下:

RS Java堆内存设置:30G
hbase.hstore.compaction.max HStoreFiles压缩最大数量: 20
hbase.hregion.memstore.flush.size刷新大小: 128M
hbase.hregion.memstore.block.multiplier memstore块乘法器: 8
hbase.hstore.compactionThreshold压缩阈值: 10
hbase.regionserver.thread.compaction.small小型压缩线程:5

现在还在学习并尝试其他参数的优化,劳烦有经验的大佬多多提议以及指正

...全文
385 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
WebTuBe 2024-05-16
  • 打赏
  • 举报
回复

maxlogs由32 - > 128

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧