Epoll面对大量连接时的事件处理

KaleoVon 2014-01-04 05:05:00

最近写了一个epoll服务器，用的ET模式，关注了EPOLLRDHUP/EPOLLHUP/EPOLLERR，所有事件处理也都循环直到EAGAIN等。测试时，客户端循环发起4096个连接，服务器最终连接成功的只能有3000多个，且接受连接不连续，一顿一顿的。后来改成每256个连接sleep1毫秒后，基本可以达到4096了。然后直接关闭客户端窗口，服务器端收到的断开事件也只有3000多个。同样的情况用我写的iocp服务器，则连接断开都正常，且很平滑。请问大家这是什么情况？是否有什么疏漏？

...全文

189 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

qiluvon 2014-01-08

打赏
举报

回复 1

客户端向服务器发起连接，发送SYN，服务器回SYN+ACK，客户端收到后为ESTABLISHED状态，并向服务器发ACK。但ESTABLISHED不一定真的ESTABLISHED，会出现这种情况：client为ESTABLISHED状态而server为SYN_RECV状态。这是因为如果并发连接太多，服务器accept处理不过来，完成连接队列已满，收到客户端ACK后，无法正常建立连接。之后会向client发送多次的SYN+ACK，发送的次数定义在/proc/sys/net/ipv4/tcp_synack_retries中，默认为5。在发送5次之后还是无法建立连接，服务器就不会再重发，并将该半连接从半连接队列删除和释放。此时客户端依然是ESTABLISHED状态。如果此后客户端向服务器发送数据，服务器由于找不到对应连接而将数据包丢弃，客户端得不到ACK而会不断重发，服务器最终会向其发RST，导致client的这种半连接最后也会结束。

这是一门linux下c++通讯架构实战课程，针对c/c++语言已经掌握的很熟并希望进一步深造以将来用c++在linux下从事网络通讯领域/网络服务器的开发和架构工作。这门课程学习难度颇高但也有着极其优渥的薪水（最少30K月薪，最高可达60-80K月薪），这门课程，会先从nginx源码的分析和讲解开始，逐步开始书写属于自己的高性能服务器框架代码，完善个人代码库，这些，将会是您日后能取得高薪的重要筹码。本课程原计划带着大家逐行写代码，但因为代码实在过于复杂和精细，带着写代码可能会造成每节课至少要4~5小时的超长时间，所以老师会在课前先写好代码，主要的时间花费在逐行讲解这些代码上，这一点望同学们周知。如果你觉得非要老师领着写代码才行的话，老师会觉得你当前可能学习本门课程会比较吃力，请不要购买本课程，以免听不懂课程并给老师差评，差评也会非常影响老师课程的销售并造成其他同学的误解。这门课程要求您具备下面的技能：(1)对c/c++语言掌握的非常熟练，语言本身已经不是继续学习的障碍，并不要求您一定熟悉网络或者linux；(2)对网络通讯架构领域有兴趣、勇于挑战这个高难度的开发领域并期望用大量的付出换取高薪；在这门课程中，实现了一个完整的项目，其中包括通讯框架和业务逻辑框架，浓缩总结起来包括如下几点：(1)项目本身是一个极完整的多线程高并发的服务器程序；(2)按照包头包体格式正确的接收客户端发送过来的数据包, 完美解决收包时的数据粘包问题；(3)根据收到的包的不同来执行不同的业务处理逻辑；(4)把业务处理产生的结果数据包正确返回给客户端；本项目用到的主要开发技术和特色包括：(1)epoll高并发通讯技术，用到的触发模式是epoll中的水平触发模式【LT】；(2)自己写了一套线程池来处理业务逻辑，调用适当的业务逻辑处理函数处理业务并返回给客户端处理结果；(3)线程之间的同步技术包括互斥量，信号量等等；(4)连接池中连接的延迟回收技术，这是整个项目中的精华技术，极大程度上消除诸多导致服务器程序工作不稳定的因素；(5)专门处理数据发送的一整套数据发送逻辑以及对应的发送线程；(6)其他次要技术，包括信号、日志打印、fork()子进程、守护进程等等；

网络I/O请求是指在计算机网络中，向其他主机或服务器发送请求或接收响应的操作。这些请求可以包括获取网页、下载文件、发送电子邮件等。网络I/O请求需要使用合适的协议和通信方式来进行数据传输，例如HTTP、FTP、SMTP等。要完成一个完整的 TCP/IP 网络通信过程，需要使用一系列函数来实现。这些函数包括 bind、listen、accept 和 recv/send 等。对于第4步的请求，如果向下面方式处理，则只能接受一个客户端的请求。

文章目录epoll 与 select第一部分：select 和 epoll的任务select 的做法epoll的做法第二部分：epoll详解epoll 系统调用epoll高效的原因epoll综合的执行过程epoll 水平触发（LT）和边缘触发（ET）的实现第三部分：epoll高效的本质NIO传统BIO模型分析NIO是怎么工作的常见I/O模型对比如何结合事件模型使用NIO同步非阻塞特性优化线程模型NIO在客户端的魔力每连接顺序请求的Redis多连接短连接的HttpClient常见的RPC框架，如Thrift，

这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值。的一个程序，并将数据交由CPU和电脑其他电子组件处理，但是直接对硬件操作是非常复杂的，通常内核提供一种硬件抽象的方法来完成（由内核决定一个程序在什么时候对某部分硬件操作多长时间），通过这些方法来完成进程间通信和系统调用。宏内核简单来说，首先定义了一个高阶的抽象接口，叫系统调用（System call））来实现操作系统的功能，例如进程管理，文件系统，和存储管理等等，这些功能由多个运行在内核态的程序来完成。linux就是使用的宏内核。

因为最近想学习如何用epoll写服务器, 于是找到了一篇介绍的文章. 因为我最近一直看不进技术文章, 于是打算通过翻译来强迫自己学习. 原文在这里: http://scotdoyle.com/python-epoll-howto.html 文章里面的代码下载地址： http://scotdoyle.com/python-epoll-examples.tar.gz 介绍从2.6版本开始,

18,356

社区成员

64,214

社区内容

发帖

与我相关

我的任务

c++c语言开发语言技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章