Hbase scan 速度如何提升
现有一list,里面放的是20位的string ,要求查询rowkey是以list中的id为前缀的所有数据。
我的代码如下
Table table = hbaseConnection.getTable(TableName.valueOf(BigDataConstant.HBASE_YHPH_TABLE_NAME));
Scan scan = new Scan();
ResultScanner resultScanner;
String column;
String columnChild;
String columnValue;
String value;
List<Filter> filterlist = new ArrayList<>();
for (String id : idList) {
filterlist.add(new PrefixFilter(id.getBytes()));
}
Filter filter = new FilterList(FilterList.Operator.MUST_PASS_ALL, filterlist);
// 模糊匹配 rowkey
scan.setFilter(filter);
scan.setCaching(500);
// scan.addFamily(HbaseColumnEnum.EMR_DATA.getName().getBytes());
// scan.addFamily(HbaseColumnEnum.LAB_REPORT.getName().getBytes());
scan.addColumn("a".getBytes(),"aa".getBytes());
scan.addColumn("b".getBytes(),"bb".getBytes());
scan.setBatch(2);
scan.setCacheBlocks(false);
LOGGER.debug("Start:[getScanner] ");
resultScanner = table.getScanner(scan);
LOGGER.debug("End:[getScanner] ");
LOGGER.debug("Start:[cycle resultScanner] ");
for (Result rs = resultScanner.next(); rs != null; rs=resultScanner.next()) {
for (Cell cell : rs.listCells()) {
//...
}
}
// Result[] rsList = resultScanner.next(1000);
// for (Result rs:rsList)
// {
// //...
// }
resultScanner.close();
table.close();
LOGGER.debug("End:[cycle resultScanner]");
现在查询耗时差不多要10-15秒
查询出来的结构大概在500条,数据库里数据》2000w
1、这要如何优化?
2、PrefixFilter做的是全盘扫描吗?
我的代码如下
Table table = hbaseConnection.getTable(TableName.valueOf(BigDataConstant.HBASE_YHPH_TABLE_NAME));
Scan scan = new Scan();
ResultScanner resultScanner;
String column;
String columnChild;
String columnValue;
String value;
List<Filter> filterlist = new ArrayList<>();
for (String id : idList) {
filterlist.add(new PrefixFilter(id.getBytes()));
}
Filter filter = new FilterList(FilterList.Operator.MUST_PASS_ALL, filterlist);
// 模糊匹配 rowkey
scan.setFilter(filter);
scan.setCaching(500);
// scan.addFamily(HbaseColumnEnum.EMR_DATA.getName().getBytes());
// scan.addFamily(HbaseColumnEnum.LAB_REPORT.getName().getBytes());
scan.addColumn("a".getBytes(),"aa".getBytes());
scan.addColumn("b".getBytes(),"bb".getBytes());
scan.setBatch(2);
scan.setCacheBlocks(false);
LOGGER.debug("Start:[getScanner] ");
resultScanner = table.getScanner(scan);
LOGGER.debug("End:[getScanner] ");
LOGGER.debug("Start:[cycle resultScanner] ");
for (Result rs = resultScanner.next(); rs != null; rs=resultScanner.next()) {
for (Cell cell : rs.listCells()) {
//...
}
}
// Result[] rsList = resultScanner.next(1000);
// for (Result rs:rsList)
// {
// //...
// }
resultScanner.close();
table.close();
LOGGER.debug("End:[cycle resultScanner]");
现在查询耗时差不多要10-15秒
查询出来的结构大概在500条,数据库里数据》2000w
1、这要如何优化?
2、PrefixFilter做的是全盘扫描吗?
...全文
相关推荐
ella-hbase-0.96.2:根据ella hbase-0.94修改,取消部分jmx数据获取方式,使用标准hbase java api进行数据获取
这种方式不仅减少了不必要的网络通信,还能提高数据获取的速度和效率。
赵健博:奇虎360超大规模HBase集群增强与改进
Scan性能改进:通过优化Scan的执行策略,提升了Scan操作的性能,改善了系统响应时间。
Hbase性能优化百科全书(csdn)————程序.pdf
BlockCache用于缓存数据块,合理设置可以显著提高读取速度,但也要注意不要过度占用内存,以免影响其他服务。读写性能优化方面,可以通过批处理、预读取、优化Scan操作等方式提升。
2-6+HBase+Coprocessor.pdf
Coprocessor允许在HBase的RegionServer上运行用户自定义的代码,实现了数据处理的本地化,从而减少了网络传输的开销,提高了系统的响应速度和整体性能。1.
HBase概述——HBase的存储模型.pdf
这种策略极大地提升了写入速度,但相对地牺牲了一部分读取性能。与传统的B+树相比,LSM树更注重写操作的效率,适用于大数据实时写入的场景。


