hbase性能测试问题迷惑(性能瓶颈不知道在哪）

hzhxxx 2016-04-07 03:44:36

hbase性能测试问题迷惑(性能瓶颈不知道在哪）
hbase服务器端
1. 两个节点，每个节点都有 regionserver,其中一个节点是master
2. hadoop(hdfs)是 2.7.2版本,hbase 都是1.2.0 版本
3. 主 master节点是 centos 6.5,其他regionserver 节点是 centos 7.2
4. 都是CPU > 4核心,内存 > 16G
5. 修改了 HBASE_REGIONSERVER_OPTS 到最大 8G,其他配置默认
6. hbase 就一个表，一个列族

客户端
使用一个hbase客户端进行测试(自编写),使用
void org.apache.hadoop.hbase.client.Table.put(List<Put> arg0)
只这个方法进行数据插入,一个客户端内4个线程.

第一种情况,一个客户端情况
服务器端总是 120w/分钟的入库量,客户端显示也是。
第二种情况,两个客户端同时进行
服务器端还是是 120w/分钟的入库量,客户端显示是两个客户端相加是120w。
三个客户端也还是 120w/分钟
第三种测试情况,服务器增加hbase regionserver 节点
还是不管多少个客户端,服务器吞吐量总是 120w/分钟,这个量级别上，并没有
实现增加节点，增加吞吐量。这个比较迷惑

测试过程中查看了三台服务器的网卡流量，并没有满，都不到10M ,
三台服务器的 hdfs 查看，每台机器消耗的磁盘差不多，证明每台机器都有
数据，实际查看cpu ，也是有一定负载
三台服务器测试过程,cpu 都没有满负荷，负荷都比较低,50~80%,跑
满至少 400%~800%查看磁盘，等待时间并不大

...全文