hadoop hdfs 写得太快就会出Connection reset by peer 的错

艾德 2012-12-18 03:15:26

server 端的错如下：
java.io.IOException: Connection reset by peer
at sun.nio.ch.FileDispatcher.read0(Native Method)
at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:21)
at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:198)
at sun.nio.ch.IOUtil.read(IOUtil.java:171)
at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:243)
at org.apache.hadoop.ipc.Server.channelRead(Server.java:1720)
at org.apache.hadoop.ipc.Server.access$2700(Server.java:94)
at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1094)
at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:537)
at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:344)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)

client端的错如下：
2012-12-18 15:11:55 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer run
警告: DataStreamer Exception: java.io.IOException: An existing connection was forcibly closed by the remote host
at sun.nio.ch.SocketDispatcher.write0(Native Method)
at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:33)
at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:100)
at sun.nio.ch.IOUtil.write(IOUtil.java:71)
at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:334)
at org.apache.hadoop.net.SocketOutputStream$Writer.performIO(SocketOutputStream.java:55)
at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:142)
at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:146)
at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:107)
at java.io.BufferedOutputStream.write(BufferedOutputStream.java:105)
at java.io.DataOutputStream.write(DataOutputStream.java:90)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2857)

写慢点好像就没问题

...全文

1989 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

艾德 2013-06-14

打赏
举报

回复

整明白了，把带宽全用光了，然后连接就断了，估计连接会定时ping一下，因为没带宽所以认为对方断了。

艾德 2013-01-06

打赏
举报

回复

网上查到说和网卡驱动有关，我试过用linux写就没有这个问题。但我升级网卡驱动不管用

xu101q 2012-12-20

打赏
举报

回复

个人认为这个错误可以忽略。。一般情况是环境导致的，如CPU占满，网络延迟等。。。。。。。。。。。

Hadoop启动报错——localhost: ssh_exchange_identification: read: Connection reset by peer

今天启动hadoop首次遇到了ssh_exchange_identification: read: Connection reset by peer 这个问题，在网上查找攻略后大多是下面这样的解法 [root@km4 .ssh]# vi /etc/hosts.allow 追加sshd: ALL [root@km4 .ssh]# seervice sshd restart 但我的问题不是这样，我...

java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer 语言：java 需求：java连接hbase，进行读写如标题所示，IO异常了，但是这个时候的报错特别的笼统。根本看不到错误！首先查看hbase的master以及regionserver是否启动，日志有无异常，但是很不幸无异常接下来查看zk的leader日志以及穷情况也无问题因为是架构师写的代码，最开始根本没有想过代码会有问题，仔细查看代码后发现

最近执行mapreduce的时候老出现mapreduce的task执行不稳定的情况，有时候某个任务一直在重试，导致整个mapreduce一直处于一个阶段，就像卡住了一样，重试N久，最后可能几小时才执行完。于是乎只好查看各个目录下的log（问题跟踪解决http://blog.csdn.net/rzhzhz/article/details/7536285），发现datanode下出现了如下错误 20

关闭hadoop集群时无意中使用 jps 发现 dataNode 和 NodeManager 没关掉 1.检查日志发现报错仔细看了一下关闭情况发现多了个localhost 于是打开/etc/hadoop/slaves 这个配置文件 vi ../etc/hadoop/slaves 发现果然多了一个localhost 才想起以前配置的时候没有删除把localhost删除后保存退出 jp...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章