Hbase压缩队列一直顶的很高

WebTuBe 2024-05-16 10:12:59

才开始接手时,Hbase的压缩队列超级大,能彪到十来万

摸索了一段时间后发现了几个点,配置用的Hbase的默认配置,压缩格式用的gz压缩格式;列族只有一个,我针对这一情况做了配置调优情况,总体的调优准则是:

1、减少压缩频率,增多压缩文件

2、减少刷新频率

但是调优后发现,确实是增长缓慢了,但是压缩速度还是跟不上数据写入,刷新,等待compaction的速度

调整的配置相关如下:

RS Java堆内存设置:30G
hbase.hstore.compaction.max HStoreFiles压缩最大数量: 20
hbase.hregion.memstore.flush.size刷新大小: 128M
hbase.hregion.memstore.block.multiplier memstore块乘法器: 8
hbase.hstore.compactionThreshold压缩阈值: 10
hbase.regionserver.thread.compaction.small小型压缩线程:5

现在还在学习并尝试其他参数的优化,劳烦有经验的大佬多多提议以及指正

...全文
808 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
WebTuBe 2024-05-16
  • 打赏
  • 举报
回复

maxlogs由32 - > 128

内容概要:本文介绍了一种基于多目标粒子群算法(MOPSO)的微电网优化调度模型,综合考虑风能、光伏、储能系统、柴油发电机、燃气轮机以及与主电网之间的能量交互等多种分布式能源的协同运行。通过构建以运行成本最小化、碳排放最低化和系统可靠性最优化为目标的多目标优化模型,利用Matlab平台实现MOPSO算法求解,完成对微电网在不同运行场景下的能量管理与调度方案优化。该模型能够有效平衡经济性与环保性之间的关系,适用于含多类型分布式电源的复杂微电网系统,具有较强的工程应用价值和科研参考意义; 适合人群:具备一定电力系统基础知识和Matlab编程能力的研究生、科研人员及工程技术人员,尤其适合从事微电网、智能电网、综合能源系统、可再生能源集成与优化调度等领域研究的专业人士; 使用场景及目标:①用于多能源耦合微电网系统的协同优化调度研究;②支持多目标智能优化算法在能源系统中的建模与求解实践,帮助用户掌握MOPSO在实际工程问题中的应用方法;③为学术论文复现、毕业设计、科研项目开发提供完整的代码实例与技术支撑; 阅读建议:建议读者结合Matlab代码与理论文档,深入理解目标函数构建、约束条件处理及Pareto最优解集生成机制,重点关注算法参数设置、多目标权衡分析与结果可视化,并可通过调整能源配置或引入新约束进行二次开发与创新研究。

20,842

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧