Hbase scan 速度如何提升

myc_315191545 myc_315191545 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
现有一list,里面放的是20位的string ,要求查询rowkey是以list中的id为前缀的所有数据。
我的代码如下

Table table = hbaseConnection.getTable(TableName.valueOf(BigDataConstant.HBASE_YHPH_TABLE_NAME));
Scan scan = new Scan();
ResultScanner resultScanner;
String column;
String columnChild;
String columnValue;
String value;

List<Filter> filterlist = new ArrayList<>();
for (String id : idList) {
filterlist.add(new PrefixFilter(id.getBytes()));
}
Filter filter = new FilterList(FilterList.Operator.MUST_PASS_ALL, filterlist);
// 模糊匹配 rowkey
scan.setFilter(filter);
scan.setCaching(500);
// scan.addFamily(HbaseColumnEnum.EMR_DATA.getName().getBytes());
// scan.addFamily(HbaseColumnEnum.LAB_REPORT.getName().getBytes());
scan.addColumn("a".getBytes(),"aa".getBytes());
scan.addColumn("b".getBytes(),"bb".getBytes());
scan.setBatch(2);
scan.setCacheBlocks(false);
LOGGER.debug("Start:[getScanner] ");
resultScanner = table.getScanner(scan);
LOGGER.debug("End:[getScanner] ");

LOGGER.debug("Start:[cycle resultScanner] ");

for (Result rs = resultScanner.next(); rs != null; rs=resultScanner.next()) {
for (Cell cell : rs.listCells()) {
//...
}
}

// Result[] rsList = resultScanner.next(1000);
// for (Result rs:rsList)
// {
// //...
// }

resultScanner.close();
table.close();
LOGGER.debug("End:[cycle resultScanner]");


现在查询耗时差不多要10-15秒
查询出来的结构大概在500条,数据库里数据》2000w
1、这要如何优化?
2、PrefixFilter做的是全盘扫描吗?
...全文

相关推荐

评论 3
收藏 已收藏
分享
返回顶部
myc_315191545
Hadoop生态社区 20,842 成员 4,695 内容