hbase的协处理器Hbase Coprocessor统计行数，抛出异常

jasligea 2019-03-01 11:46:43

统计过程中抛出异常信息如下：
at org.apache.hadoop.hbase.client.RpcRetryingCallerImpl.callWithRetries(RpcRetryingCallerImpl.java:145)
at org.apache.hadoop.hbase.client.RegionCoprocessorRpcChannel.callExecService(RegionCoprocessorRpcChannel.java:91)
at org.apache.hadoop.hbase.client.SyncCoprocessorRpcChannel.callMethod(SyncCoprocessorRpcChannel.java:52)
at org.apache.hadoop.hbase.protobuf.generated.AggregateProtos$AggregateService$Stub.getRowNum(AggregateProtos.java:2113)
at org.apache.hadoop.hbase.client.coprocessor.AggregationClient$3.call(AggregationClient.java:357)
at org.apache.hadoop.hbase.client.coprocessor.AggregationClient$3.call(AggregationClient.java:351)
at org.apache.hadoop.hbase.client.HTable$12.call(HTable.java:1012)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: Call to dataserver1/192.168.1.10:16020 failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=482, waitTime=60002, rpcTimeout=60000
at org.apache.hadoop.hbase.ipc.IPCUtil.wrapException(IPCUtil.java:185)
at org.apache.hadoop.hbase.ipc.AbstractRpcClient.onCallFinished(AbstractRpcClient.java:390)
at org.apache.hadoop.hbase.ipc.AbstractRpcClient.access$100(AbstractRpcClient.java:95)
at org.apache.hadoop.hbase.ipc.AbstractRpcClient$3.run(AbstractRpcClient.java:410)
at org.apache.hadoop.hbase.ipc.AbstractRpcClient$3.run(AbstractRpcClient.java:406)
at org.apache.hadoop.hbase.ipc.Call.setTimeout(Call.java:96)
at org.apache.hadoop.hbase.ipc.RpcConnection$1.run(RpcConnection.java:199)
at org.apache.hbase.thirdparty.io.netty.util.HashedWheelTimer$HashedWheelTimeout.expire(HashedWheelTimer.java:663)
at org.apache.hbase.thirdparty.io.netty.util.HashedWheelTimer$HashedWheelBucket.expireTimeouts(HashedWheelTimer.java:738)
at org.apache.hbase.thirdparty.io.netty.util.HashedWheelTimer$Worker.run(HashedWheelTimer.java:466)
... 1 more
Caused by: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=482, waitTime=60002, rpcTimeout=60000
at org.apache.hadoop.hbase.ipc.RpcConnection$1.run(RpcConnection.java:200)
... 4 more

at org.apache.hadoop.hbase.client.coprocessor.AggregationClient$3.call(AggregationClient.java:360)
at org.apache.hadoop.hbase.client.coprocessor.AggregationClient$3.call(AggregationClient.java:351)
at org.apache.hadoop.hbase.client.HTable$12.call(HTable.java:1012)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:748)

...全文

71 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

协处理器 通过宏和概括的方式，我们可以将协处理器定义为一个框架，该框架提供了一种在HBase中执行自定义代码的简便方法。代表协处理器的最常用类比是“触发器/存储过程”和AOP。 协处理器可以开发为：观察者协处理器：它就像数据库的“触发器”，即在某个事件之前或之后触发。端点协处理器：就像数据库的“存储过程”一样，这种类型的协处理器必须通过“ HTableInterface”（或HTable）的“ CoprocessorService（）”方法显式触发。 协处理器不是为最终用户设计的，而是由开发人员使用的。 协处理器直接在Region Server上运行，因此恶意代码可能会使您的Region Server瘫痪，也就是说，实施时请务必小心。下面，我将创建一个简单的Observer协处理器示例，以确切显示其工作方式。创建的示例在Cloudera VM上执行，并且需要一点点Had

手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。课程简介从HBase的集群搭建、HBaseshell操作、java编程、架构、原理、涉及的数据结构，并且结合陌陌海量消息存储案例来讲解实战HBase 课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为简，讲解通俗易懂。 3，结合工作实践及分析应用，培养解决实际问题的能力。 4，企业级方案设计，完全匹配工作场景。适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。课程内容第一章 HBase入门 1. 简介 2. 集群搭建 3. HBase数据模型 4. 常用shell操作 5. shell管理操作 6. Hbase Java编程 7. HBase高可用 8. HBase架构第二章陌陌海量存储案例 1. 案例介绍 2. 打招呼消息数据集介绍 3. 准备工作 4. 陌陌消息HBase表结构设计 5. 性能问题 6. Apache Phoenix 7. 基于Phoenix消息数据查询第三章 HBase高级 1. 重要工作机制 2. HBase批量装载——Bulk load 3. HBase的协处理器（Coprocessor） 4. HBase事务 5. HBase数据结构

Apache Phoenix是构建在HBase之上的关系型数据库层，作为内嵌的客户端JDBC驱动用以对HBase中的数据进行低延迟访问。Apache Phoenix会将用户编写的sql查询编译为一系列的scan操作，最终产生通用的JDBC结果集返回给客户端。数据表的元数据存储在HBase的表中被会标记版本号，所以进行查询的时候会自动选择正确的schema。直接使用HBase的API，结合协处理器（coprocessor）和自定义的过滤器的话，小范围的查询在毫秒级响应，千万数据的话响应速度为秒级

hbase-协处理器-示例此示例演示如何使用 HBase 协处理器和 Algebird monoid 实现分组聚合。我们在这里使用的 HBase 版本是 0.94.18，与 AWS EMR 上可用的版本完全相同。在本地 HBase 应用程序中创建演示表下载并解压 hbase 0.94.18 启动 hbase bin/start-hbase.sh 创建一个名为 mobile-device 的表 create ' mobile-device ' , { NAME = > ' stats ' , VERSIONS = > 1, TTL = > 7776000 } 构建和部署协处理器演示代码编译一个fat jar，复制到HBase classpath $ sbt assembly $ cp $PWD /target/scala-2.10/hbase-coprocessor-asse

Hbase本身只有一级索引rowkey，现在通过Hbase coprocessor协处理器把Hbase的数据索引存储到Elasticsearch，从而建立二级索引；ppt中讲述了一些注意事项，挺有用的，希望能有所帮忙！

7,765

社区成员

63,203

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章