HBase大批量写入报错~~

头疼 2013-05-09 04:43:14
刚刚开始学习用JAVA写HBASE,小批量写入没问题。
大批量写的时候就报错,HBASE的配置和代码都是以前同事写的,现在两眼一抹黑,不知道怎么弄。

下面是错误日志

java.util.concurrent.ExecutionException: java.net.SocketTimeoutException: Call to 11.124.1.120:60020 failed on socket timeout exception: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=11.124.1.120:56559 remote=11.124.1.120:60020]
at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
at java.util.concurrent.FutureTask.get(FutureTask.java:83)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.processBatchCallback(HConnectionManager.java:1540)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.processBatch(HConnectionManager.java:1392)
at org.apache.hadoop.hbase.client.HTable.flushCommits(HTable.java:918)
at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:770)
at org.apache.hadoop.hbase.client.HTable.put(HTable.java:757)
at PS2HBASEIMP.ReadWriteHbase.addRecord(ReadWriteHbase.java:92)
at PS2HBASEIMP.ReadWriteHbase.addPutList(ReadWriteHbase.java:75)
at PS2HBASEIMP.TestImpHbase.main(TestImpHbase.java:139)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.net.SocketTimeoutException: Call to 11.124.1.120:60020 failed on socket timeout exception: java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=11.124.1.120:56559 remote=11.124.1.120:60020]
at org.apache.hadoop.hbase.ipc.HBaseClient.wrapException(HBaseClient.java:1052)
at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:1025)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:150)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation$3$1.call(HConnectionManager.java:1369)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation$3$1.call(HConnectionManager.java:1367)
at org.apache.hadoop.hbase.client.ServerCallable.withoutRetries(ServerCallable.java:210)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation$3.call(HConnectionManager.java:1376)
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation$3.call(HConnectionManager.java:1364)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)
...全文
1945 11 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
11 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_22064223 2015-06-02
  • 打赏
  • 举报
回复
是不是该节点的zk死了?
kingyangang 2013-11-19
  • 打赏
  • 举报
回复
楼主,这个问题是怎么解决的?
Dragon_L 2013-09-14
  • 打赏
  • 举报
回复
请问下,这个问题解了了么?
duyutan0814 2013-05-29
  • 打赏
  • 举报
回复
楼主!求分享是怎么回事?我也遇到了这个问题,而且用的就是Htablepool。。。
头疼 2013-05-10
  • 打赏
  • 举报
回复
谢谢斑竹,知道怎么回事了
引用 6 楼 tntzbzc 的回复:
LZ你去看一下 HTABLE.java的源码,里面有一段说明 * This class is not thread safe for updates; the underlying write buffer can * be corrupted if multiple threads contend over a single HTable instance. 多线程调用不安全~~~~ 建议换成一个Htablepool统一管理
撸大湿 2013-05-10
  • 打赏
  • 举报
回复
LZ你去看一下 HTABLE.java的源码,里面有一段说明 * This class is not thread safe for updates; the underlying write buffer can * be corrupted if multiple threads contend over a single HTable instance. 多线程调用不安全~~~~ 建议换成一个Htablepool统一管理
头疼 2013-05-10
  • 打赏
  • 举报
回复
引用 3 楼 virgo777 的回复:
nio超时?
NIO是啥啊
头疼 2013-05-10
  • 打赏
  • 举报
回复
引用 2 楼 tntzbzc 的回复:
如何导入? Java Client HTABLE.PUT? 还是bulkload? 还是sqoop?
是HTABLE.PUT方法 发现个问题,用单线程PUT的时候,不会有问题 开多个线程同时PUT就报上面那个错误,很无语~~
我想飞走 2013-05-09
  • 打赏
  • 举报
回复
nio超时?
撸大湿 2013-05-09
  • 打赏
  • 举报
回复
如何导入? Java Client HTABLE.PUT? 还是bulkload? 还是sqoop?
头疼 2013-05-09
  • 打赏
  • 举报
回复
再加20分,快来人呀

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧