hbase行统计有什么比较快的方法

langke93 2011-11-07 11:10:37
用她里面org.apache.hadoop.hbase.mapreduce.RowCounter太慢了
shell里面的count怎么就那么快
ruby看不来,有没有知道她是怎么实现的
...全文
549 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
langke93 2011-12-26
  • 打赏
  • 举报
回复
问题是程序运行比命令慢
  • 打赏
  • 举报
回复
命令行运行,是单线程
程序运行,是mapreduce任务,所以快 。
之前我搞错了
lxs_huntingjob 2011-12-21
  • 打赏
  • 举报
回复
[Quote=引用 3 楼 langke93 的回复:]

有没有懂得人来讨论下
[/Quote]
不知道LZ的问题有没有解决,如果你用程序来运行 RowCounter 是很快的,如果你用命令行的话就很慢
langke93 2011-11-08
  • 打赏
  • 举报
回复
有没有懂得人来讨论下
langke93 2011-11-07
  • 打赏
  • 举报
回复
但是为什么shell里调用明显比直接调用rowcounter快得多
  • 打赏
  • 举报
回复
shell里的count调用的就是那个rowcounter
hbase是按列存储的,行统计本来就慢的

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧