HBASE写入速度太慢

cranley 2012-02-09 11:20:15

9个DATANODE，都是配置比较高的机器，写入8千万数据，每一条数据都是一个独立ROWKEY，但每个ROWKEY范围跳动很大，基本会经常操作所有DataNode。写入时每秒的速度才每秒才一两兆的速度。需要耗时2小时多。这是为什么呢。

是因为每一条数据都是一个独立ROWKEY的原因吗？有什么办法解决。如何使处理速度达到百兆每秒？

...全文

1039 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

Forsure 2012-05-17

打赏
举报

回复

不知道就不要乱说话[Quote=引用 1 楼的回复:]
好像没多少人用hadoop的，你先看下用hdfs的速度吧
[/Quote]

bjpengyou 2012-04-25

打赏
举报

回复

可以认识一下，我现在在做hbase.hadoop的试验，
我现在有10台PC级服务器。
可以交流下？
加QQ？4478007

cranley 2012-04-20

打赏
举报

回复

。。。。。。无语了，没有人工作用HADOOP啊？我们公司这么先进了？

hezuoxiang 2012-02-12

打赏
举报

回复

好像没多少人用hadoop的，你先看下用hdfs的速度吧

HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储.HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。本视频从hbase的概述开始,讲解hbase的安装,hbase的shell操作,数据结构和原理到java api操作以及优化,让我们快速上手hbase.

版本：1.2.6现象：hbase写入耗时长，单机slow put数量上升，单机flush慢，内存达到高水位block request至高水位下(内存达到低水位会不断flush至低水位下)，目前24G内存，高水位9.6G(240.4)，低水位7.68G(9.60.8)具体分析：1 flush慢并非写入hdfs慢，怀疑是scan耗时太长，甚至可能死锁了2 flush的size大很好理解，并不是说达到128MB立即就flush了，是扔到flush队列了，flush队列可能有普通region的flush(队列，

HBase 是基于 LSM tree 数据结构实现的，在写入时需要进行数据排序、合并等操作，相比 HDFS 的追加写入来说，延迟会更高。可以通过优化 HBase 的配置或者选择其他的 NoSQL 数据库来提升性能，同时也可以考虑在 Flink 中增加缓存等方式，提高写入效率。而 HBase 是分布式数据库，每个 RegionServer 只负责一部分数据，写入时可能存在热点问题，导致性能较差。Flink 在写入 HBase 时，默认只有一个并发度，如果数据量较大，可能会导致写入过慢。

一、Hbase 写入慢时的集群异常指标关于hbase写入优化的文章很多，这里主要记录下，生产hbase集群针对写入的一次优化过程。hbase写入慢时，从hbase集群监控到的一些指标 -hbase 采用HDP 2.6 ，Hbase -1.1.2HBase的吞吐量达到一个峰值之后，瞬间下降，无法稳定，对应的Grafana 面板-RPC Received bytes/shbase 每台服务器的...

首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？总之网上大部分测试都是黑盒测试嘛，大家也就乱猜呗。下面我仔

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章