手写C语言HTTP服务器:epoll与Reactor模式实战
1. 为什么我要手写一个 C 语言 HTTP 服务器
1.1 从一次线上 404 说起
事情的起因特别简单:我负责的一个内部小工具,原本跑在一个现成的框架上,某天突然开始间歇性返回 404,日志里什么都看不出来。排查了两天,最后发现是框架内部连接复用逻辑的一个边界 bug。那次之后我就动了念头——与其在别人的抽象层里猜谜,不如自己用 C 语言从 socket 开始撸一个 HTTP 服务器,把每一行行为都攥在自己手里。
这个项目最终跑到了单机 9000 QPS 的水平,中间踩的坑足够写一篇长文。它适合两类人看:一类是学过 C 语言、懂一点 Linux 系统调用,但没真正写过网络服务器的同学;另一类是用过 Nginx、Redis 这类高性能服务,想搞清楚它们内部到底怎么组织事件循环的开发者。我会把 Reactor 模式的设计取舍、epoll 的用法、HTTP 报文解析的细节、压测调优的全过程都摊开讲,代码层面的关键片段也会给出来,你可以直接抄作业。
先说清楚这个服务器的定位:它是一个单 Reactor 单线程的 HTTP/1.1 服务器,支持静态文件服务、长连接(keep-alive)、基本的请求解析和响应构造。它不是要替代 Nginx,而是作为一个教学和自用的底座,让你彻底理解一个 HTTP 服务器从 0 到 1 的每一块拼图。
1.2 为什么选单 Reactor 而不是多线程
很多人一上来就想搞多线程、线程池,觉得线程越多性能越好。我一开始也这么想,后来发现方向错了。Reactor 模式的核心思想是事件驱动 + 非阻塞 IO,一个线程通过 epoll 同时管理成千上万个连接,谁有数据可读就去读,读完立刻处理,处理完立刻写回,全程不阻塞。
单 Reactor 单线程的优势在于:没有锁竞争,没有线程切换开销,没有共享状态的同步问题。对于 IO 密集型任务(HTTP 服务器就是典型的 IO 密集型),单线程事件循环往往比多线程更快,因为瓶颈在 IO 而不在 CPU。Redis 就是单线程的,照样能跑到十万级 QPS,道理是一样的。
当然单 Reactor 也有天花板:如果业务逻辑里有耗时计算,会阻塞整个事件循环。所以我的设计里,事件循环只做 IO 和轻量解析,重活留给后续扩展(比如加一个 worker 线程池)。这个取舍在后面性能调优那节会详细讲。
1.3 整体架构一图流(文字版)
整个服务器的骨架就四层:
- 网络层:socket、bind、listen、accept、epoll 的封装
- 事件层:Reactor 事件循环,负责分发可读/可写事件
- 协议层:HTTP 请求解析、响应构造、状态机
- 应用层:静态文件读取、路由分发、连接管理
数据流向是:客户端连接 → epoll 通知可读 → 读缓冲区 → HTTP 解析 → 生成响应 → 写缓冲区 → epoll 通知可写 → 发送 → 根据 keep-alive 决定是否关闭。每一层职责单一,方便定位问题,这也是我坚持手写的原因——出问题时我能精确知道是哪一层挂了。
2. 核心细节解析:epoll 与 HTTP 解析的硬骨头
2.1 epoll 的三种触发模式怎么选
Linux 下做高并发 IO 复用,epoll 是绕不开的。它有三个关键 API:epoll_create1、epoll_ctl、epoll_wait。真正让人纠结的是**水平触发(LT)和边缘触发(ET)**的选择。
水平触发的意思是:只要缓冲区里还有数据没读完,epoll_wait 就会一直通知你。边缘触发则是:只在状态发生变化时通知一次,你必须一次性把数据读干净,否则剩下的数据可能永远等不到下一次通知。
我一开始用的是 LT,因为写起来简单,不容易丢数据。但压测时发现,当连接数上去之后,LT 模式下 epoll_wait 返回的事件里,有大量是重复通知同一个连接的,白白浪费了 CPU。切换到 ET 之后,QPS 直接涨了大概 30%。
ET 模式的代价是:必须配合非阻塞 socket,并且循环读到返回 EAGAIN 为止。这是新手最容易踩的坑——只 read 一次就以为读完了,结果 HTTP 请求体被截断,解析出一堆莫名其妙的错误。正确的读法是:
注意:ET 模式下如果忘记处理 EAGAIN,会出现"连接卡死"的现象——客户端发了数据,服务器却再也不响应。这个 bug 我调了整整一个下午。
2.2 非阻塞 socket 是 ET 的前提
很多人不知道,ET 模式必须搭配非阻塞 socket,否则循环 read 会在最后一次调用时永久阻塞,整个事件循环就死了。设置非阻塞的标准做法:
accept 出来的新连接也要设成非阻塞,这一点特别容易漏。我见过有人只把 listen fd 设了非阻塞,结果新连接还是阻塞的,一压测就卡。另外,accept4 这个系统调用可以直接带 SOCK_NONBLOCK 标志,一步到位,比 accept 之后再 fcntl 少一次系统调用,性能更好。
2.3 HTTP 报文解析:状态机才是正解
HTTP 请求解析是另一个大坑。新手常见的写法是用 strstr 找 \r\n\r\n,找到就认为请求头结束了。这在简单场景能用,但遇到分片到达的请求就崩了——TCP 是流式协议,一个 HTTP 请求可能分好几次才到齐。
正确做法是用状态机逐字节解析。我把解析过程分成几个状态:请求行、请求头、请求体。每读到一个字节就推进状态,遇到 \r\n 就完成一行。这样即使数据分片到达,也能正确拼接。
请求行的格式是 METHOD SP URI SP VERSION CRLF,解析时要注意:
- 方法只支持 GET、POST、HEAD 就够用了,其他返回 501
- URI 要做 URL 解码,
%20要还原成空格 - 版本号要校验,HTTP/1.1 默认 keep-alive,HTTP/1.0 默认 close
请求头里最关键的是 Content-Length 和 Connection。前者决定请求体读多少字节,后者决定连接是否复用。如果只有 Transfer-Encoding: chunked 而没有 Content-Length,处理起来更复杂,我的实现里暂时返回 411 让客户端改用 Content-Length。
实操心得:解析时一定要限制请求头和请求体的最大长度,否则恶意客户端发一个超长请求就能把你的内存吃光。我设的上限是请求头 8KB、请求体 1MB,超过直接返回 413。
2.4 缓冲区管理:别每次都 malloc
早期我的实现里,每个连接读写都 malloc 一块缓冲区,压测时 malloc/free 的开销非常可观。后来改成每个连接预分配固定大小的读写缓冲区,连接建立时分配,关闭时释放,中间复用。缓冲区大小我选的 8KB,正好是一个内存页的两倍,兼顾了内存占用和减少 read 次数。
对于响应,如果文件很大,不能一次性读进内存。我的做法是:先发响应头,然后用 sendfile 系统调用直接把文件内容从内核态发到 socket,零拷贝,省去了用户态和内核态之间的数据搬运。这是静态文件服务性能的关键优化,实测比 read + write 快了将近一倍。
3. 实操过程:从零到能跑通的完整步骤
3.1 环境准备与编译配置
开发环境很简单:一台 Linux 机器(我用的是 Ubuntu 22.04),gcc 编译器,再加一个压测工具。编译命令我习惯用:
-O2 是必须的,-O0 下性能差一大截。-Wall -Wextra 打开所有警告,C 语言里很多隐蔽 bug 都是编译器警告提示出来的。-g 保留调试符号,方便用 gdb 排查。
如果你用 VSCode 开发,配置 c_cpp_properties.json 时把 includePath 指向系统头文件目录,tasks.json 里把上面的编译命令填进去,一键编译。调试时用 gdb 附加到进程,或者直接在 launch.json 里配好,断点打在事件循环里,能清楚看到每个事件的处理过程。
3.2 服务器启动流程的代码骨架
主流程其实很清晰,我按顺序列一下关键步骤:
- 创建 listen socket:
socket(AF_INET, SOCK_STREAM, 0) - 设置 SO_REUSEADDR:避免重启时 "Address already in use"
- bind 到指定端口:
bind之前要填好sockaddr_in - listen 开始监听:backlog 设成 SOMAXCONN
- 创建 epoll 实例:
epoll_create1(0) - 把 listen fd 加入 epoll:监听 EPOLLIN
- 进入事件循环:
epoll_wait阻塞等待
注意:
SOCK_NONBLOCK在 socket 创建时直接带上,比后面 fcntl 更省事。listen fd 用 ET 模式,accept 时要循环 accept 直到 EAGAIN,否则会漏掉连接。
3.3 事件循环的核心逻辑
事件循环是整个服务器的心脏,它的伪代码大概是这样:
MAX_EVENTS 我设的 1024,一次 epoll_wait 最多返回这么多事件。设太大浪费内存,设太小会增加 epoll_wait 调用次数。1024 是个经验值,你可以根据连接数调整。
handle_read 里做三件事:读数据到缓冲区、驱动 HTTP 状态机解析、如果请求完整就生成响应。生成响应后不一定能立刻写完(socket 发送缓冲区可能满),所以要把 fd 的关注事件改成 EPOLLOUT,等可写时再发。
3.4 连接生命周期管理
每个连接我用一个结构体表示,包含 fd、读缓冲区、写缓冲区、解析状态、keep-alive 标志等。用一个哈希表或数组按 fd 索引,方便快速查找。
连接关闭的时机有几个:客户端主动关闭(read 返回 0)、解析出错、响应发送完毕且不是 keep-alive、超时。超时管理我用的是时间轮的简化版——每个连接记录最后活跃时间,事件循环里定期扫描,超过 60 秒没活动的就关掉。这样能防止大量空闲连接占着 fd 不放。
踩坑记录:早期我没做超时,压测时客户端异常断开,服务器这边连接一直挂着,fd 很快耗尽,新连接全部 accept 失败。加上超时清理后问题解决。
4. 性能调优:从 404 到 9000 QPS 的实战
4.1 压测工具与基线数据
压测我用的是 wrk,命令是:
意思是 4 个线程、1000 个并发连接、持续 30 秒,输出延迟分布。第一次跑的时候,QPS 只有 2000 出头,延迟 P99 到了 50ms,明显不合格。
基线数据很重要,它告诉你优化的起点在哪。我建议每次改动后都跑一遍同样的压测,记录 QPS、P99 延迟、CPU 占用,形成对比。没有基线,你根本不知道优化有没有效果。
4.2 第一轮优化:减少系统调用
第一轮优化我盯着系统调用数量。用 strace -c 统计,发现 read 和 write 调用次数特别多。原因是每次事件循环只读一次、写一次。改成 ET 模式循环读写后,系统调用次数降了一半,QPS 涨到 3500。
另一个优化是 accept4 替代 accept + fcntl,每次新连接少一次系统调用。别小看这一次,高并发下每秒几千个新连接,省下来的开销很可观。
4.3 第二轮优化:sendfile 零拷贝
静态文件服务是压测的主要场景。原来我用 read 把文件读进用户态缓冲区,再 write 到 socket,数据在内核态和用户态之间来回拷贝两次。改用 sendfile 后,数据直接从文件描述符传到 socket,全程在内核态完成,零拷贝。
这一项优化让 QPS 从 3500 涨到 6000。sendfile 是 Linux 特有的,如果你要跨平台,得用其他方式,但在 Linux 上它就是静态文件服务的性能利器。
4.4 第三轮优化:TCP 参数调优
应用层优化到瓶颈后,我开始调内核参数。几个关键的:
net.core.somaxconn:listen backlog 的上限,默认 128 太小,调到 65535net.ipv4.tcp_tw_reuse:允许复用 TIME_WAIT 状态的连接,高并发下很有用net.ipv4.tcp_fastopen:开启 TCP Fast Open,减少握手往返net.core.rmem_max和wmem_max:调大 socket 缓冲区上限
这些参数在 /etc/sysctl.conf 里改,sysctl -p 生效。调完之后 QPS 又涨了大概 15%。
4.5 第四轮优化:内存池与对象复用
最后一轮优化针对内存分配。每个连接的缓冲区、解析状态对象,如果频繁 malloc/free,开销不小。我实现了一个简单的内存池,预分配一批连接对象,用的时候从池里取,用完还回去,避免频繁的系统调用。
这一轮优化把 QPS 从 7000 推到了 9000,P99 延迟降到 5ms 以内。到这一步,单线程的 CPU 已经跑满了,再往上就得考虑多 Reactor 或者多进程了。
| 优化阶段 | 关键改动 | QPS | P99 延迟 |
|---|---|---|---|
| 基线 | 无 | 2000 | 50ms |
| 第一轮 | ET 模式 + accept4 | 3500 | 25ms |
| 第二轮 | sendfile 零拷贝 | 6000 | 12ms |
| 第三轮 | TCP 参数调优 | 7000 | 8ms |
| 第四轮 | 内存池 | 9000 | 5ms |
5. 常见问题与排查技巧实录
5.1 连接卡死、无响应
这是最高频的问题,八成是 ET 模式没读干净。排查方法:在 read 循环里加日志,看是否读到了 EAGAIN。如果没读到就退出了循环,说明逻辑有问题。另一个可能是写缓冲区满了但没注册 EPOLLOUT,导致响应发不出去。
5.2 内存持续增长
用 valgrind --leak-check=full 跑一遍,能定位到泄漏点。常见原因是连接关闭时忘了释放缓冲区,或者解析出错时提前 return 没走清理逻辑。我的做法是把清理逻辑统一到一个 close_conn 函数里,所有关闭路径都走它。
5.3 压测时 accept 失败
报错 "Too many open files",说明 fd 耗尽。检查两点:一是 ulimit -n 是否调大(我设的 65535),二是连接超时清理是否生效。如果客户端异常断开而服务器没检测到,连接会一直挂着。
5.4 请求体被截断
POST 请求的 body 没读全,通常是 Content-Length 处理有问题。要确保读满 Content-Length 指定的字节数才认为请求完整。如果一次 read 没读够,要继续读,直到读满或者连接关闭。
| 问题现象 | 可能原因 | 排查手段 | 解决方案 |
|---|---|---|---|
| 连接卡死 | ET 未读干净 | read 循环加日志 | 循环读到 EAGAIN |
| 内存增长 | 缓冲区泄漏 | valgrind | 统一清理函数 |
| accept 失败 | fd 耗尽 | ulimit -n | 调大限制 + 超时清理 |
| 请求截断 | Content-Length 未读满 | 打印已读字节数 | 循环读满 |
| 响应乱码 | 缓冲区越界 | AddressSanitizer | 检查边界 |
独家技巧:编译时加上
-fsanitize=address能自动检测缓冲区越界和内存泄漏,开发阶段强烈建议开启。虽然会慢一点,但能提前发现大量隐患。
6. 后续可以怎么扩展
单 Reactor 跑满一个核之后,下一步自然是多 Reactor。思路是主线程只负责 accept,把新连接分发给多个子 Reactor,每个子 Reactor 独立跑事件循环。这就是 Nginx 和 Redis 多线程版的思路。分发策略可以用轮询,也可以用 SO_REUSEPORT 让内核帮你分发。
另一个方向是加线程池处理业务逻辑。事件循环只做 IO,解析完请求后把任务丢给线程池,线程池处理完再把响应塞回事件循环发送。这样能支持耗时的业务逻辑而不阻塞 IO。
我自己在实际操作中的体会是:手写 HTTP 服务器最大的价值不在于性能数字,而在于你对"一个请求从网卡到应用再回到网卡"的整个过程有了肌肉记忆般的理解。以后再遇到 404、502、连接超时这类问题,你脑子里能立刻浮现出可能出问题的环节,排查效率完全不是一个量级。这套代码我后来直接改造成了内部工具的服务底座,稳定跑了半年多,比之前用的框架省心太多。