Hbase 过滤器+正序/倒序速度问题

Vince_YANG_94 2019-06-21 04:52:47

目前情况是这样,
rowkey结构是重复字段+yyyyMMddhhmmssSSS+尾部6位随机的长度为12位的流水号

在指定StartRow和EndRow, RowFilter(=,substring:流水号)的情况下, 对该表进行全表scan
startRow和EndRow之间大约有10万条数据,
在指定倒序查找时, 能出结果但是时间比较长, 大约需要2秒多
而正序查找则只需要半秒多一点

为什么正序查找要比倒序查找的时间段那么多?

二者的效率和startRow和EndRow有关吗

...全文

57 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

hadoop+hbase+flume+zookeeper实现电信级海量通话日志数据的存储，随机访问与实时读写。通过hash技术对rowkey进行分析处理，解决hbase的热点问题，协同coprocessor，解决系统的高吞吐量和查询负载问题以及如何避免...

HBase 简介 https://hbase.apache.org/HBase， Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式开源 NoSQL 数据库，面向列存储。主要用来存储非结构化和半结构化的松散数据。HBase 的设计思想，来源于 Fay Chang所撰写的Google论文 “Bigtable：一个结构化数据的分布式存储系统”。HBase ...

Hbase总结官网：http://hbase.apache.org/ 概述 hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作...

Hbase虽然能提供海量数据的实时读写，但是一旦数据量非常大，查询延迟也会非常高，所以要做好优化工作。一、表结构设计 1、列族越少越好（1）列族（cf）数量，在内存结构中一个cf对应一个store区域，一个store中又存在多个storefile小文件，小storefile是不断合并新的大的storefile，数据量大了，storefile自然会多，合并任务也自然增多，会降低性能，增加列...

hue入口：http://hue服务器地址:8888/about/ hue默认端口号8888 账号：xxxx 密码：xxxx hue作用，提供给大数据用户一个web端，访问大数据集群 1、 hbase web端的使用 l hbase hue入口如图，data browsers选项中会有hbase选项，直接点进去就好 l 点进来后会看到我们集群hbase中的所有...

高性能计算

2,408

社区成员

1,024

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章