社区
Hadoop生态社区
帖子详情
hbase行统计有什么比较快的方法
langke93
2011-11-07 11:10:37
用她里面org.apache.hadoop.hbase.mapreduce.RowCounter太慢了
shell里面的count怎么就那么快
ruby看不来,有没有知道她是怎么实现的
...全文
633
6
打赏
收藏
hbase行统计有什么比较快的方法
用她里面org.apache.hadoop.hbase.mapreduce.RowCounter太慢了 shell里面的count怎么就那么快 ruby看不来,有没有知道她是怎么实现的
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
langke93
2011-12-26
打赏
举报
回复
问题是程序运行比命令慢
一无所有自知之明
2011-12-22
打赏
举报
回复
命令行运行,是单线程
程序运行,是mapreduce任务,所以快 。
之前我搞错了
lxs_huntingjob
2011-12-21
打赏
举报
回复
[Quote=引用 3 楼 langke93 的回复:]
有没有懂得人来讨论下
[/Quote]
不知道LZ的问题有没有解决,如果你用程序来运行 RowCounter 是很快的,如果你用命令行的话就很慢
langke93
2011-11-08
打赏
举报
回复
有没有懂得人来讨论下
langke93
2011-11-07
打赏
举报
回复
但是为什么shell里调用明显比直接调用rowcounter快得多
一无所有自知之明
2011-11-07
打赏
举报
回复
shell里的count调用的就是那个rowcounter
hbase是按列存储的,行统计本来就慢的
hbase
count java
统计
_
HBase
统计
表
行
数(RowCount)的四种
方法
本文介绍了四种在
HBase
中
统计
表
行
数的不同
方法
及其效率对比:
hbase
-shell的count命令、scan方式设置过滤器循环计数、利用
hbase
.RowCounter包执
行
MR任务及使用
HBase
协处理器Coprocessor。
Hbase
统计
行
数的三种
方法
本文介绍了在
HBase
中使用count命令进
行
数据
行
数
统计
的
方法
,包括设置
统计
间隔和缓存大小来提高效率。同时,文章还探讨了通过Hive关联表及MapReduce方式
统计
HBase
表
行
数的替代方案。
Welcome to Apache
HBase
( 二,hive和
hbase
的
比较
)
本文介绍了Hive和
Hbase
两种基于Hadoop的技术,Hive是类SQL引擎,适合
统计
查询;
Hbase
是NoSQL的Key/Value数据库,适合实时查询。还阐述了
Hbase
的rowKey设计原则、scan和get功能及异同、scan对象
方法
使用,最后介绍了Column - Store在查询引擎层的优化手段。
HBase
统计
表
行
数(RowCount)的四种
方法
本文探讨了在
HBase
中
统计
表
行
数的四种不同
方法
,包括
hbase
-shell的count命令、scan方式设置过滤器循环计数、利用RowCounter包执
行
MR任务及使用
HBase
协处理器Coprocessor,对比了各种
方法
的执
行
效率。
Hbase
统计
表的
行
数的3种
方法
本文介绍了
统计
HBase
表
行
数的三种
方法
:1) 使用
HBase
shell的count命令,但效率较低;2) 调用MapReduce的RowCounter类,效率较高;3) 通过Hive与
HBase
的集成,使用SQL进
行
统计
。详细步骤包括执
行
命令、查看输出信息等。
Hadoop生态社区
20,844
社区成员
4,695
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章