IOCP 性能问题,真的会越用越慢?

jasonabc1 2016-06-10 12:08:15
测试硬件:
64位 10 windows, 32 位程序(C/S)
I7 8 核
8G 内存

测试场景:

C 也是同 S 一样的 IOCP 核心, 共同占用了系统IO队列, 当然, 是两个独立的程序。 只是我想即然都使用 IOCP 核心, 应该都占用系统 的IOCP 队列

测试业务:
C 对 S 建立 TCP/IP 长连接, 连接后, 每 10 秒发送一次心跳 , 连接不主动断线

这是一个压力测试, 看看最大性能能达到何处:

先说说服务器状态:
S 基本不怎么耗 CPU 和 内存, 低耗一直在 10% 以下, 内存慢慢上升到 100M 左右
根据我的性能统计: S 每秒处理 1500次 IO 业务, 1000~2500的波动

问题:
从开始, 一直到完全没办法响应(大约 9000 个链接就超时的不要不要的了)

[23:06:01(580)]连接 Socket 建立成功,线程ID:735c,SOCKET = 1276
[23:06:01(580)]连接 Socket 建立成功,线程ID:2ec8,SOCKET = 1256
[23:06:01(593)]连接服务器成功 192.168.0.101:39999,线程ID:735c , 本地连接信息:192.168.0.101:32896,SOCKET = 1276,耗时:0.65ms
[23:06:01(594)]连接服务器成功 192.168.0.101:39999,线程ID:2ec8 , 本地连接信息:192.168.0.101:32897,SOCKET = 1256,耗时:0.45ms

直到后来, 现在 8000 个连接

[23:56:41(146)]连接服务器成功 192.168.0.101:39999,线程ID:2d7c , 本地连接信息:192.168.0.101:43193,SOCKET = 33380,耗时:16776.38ms
[23:56:41(146)]收接到 [ CHECKIN ] 耗时 22814.94ms
[23:56:41(147)]收接到 [ CHECKIN ] 耗时 22848.86ms

真是天差地别。。。 IOCP 是越用越慢的吗?
因为现在大级别耗时, 服务器和客户端的 CPU 都没超过 5% , 倒是系统自占用一直都是 20%

我理解, 有投递, 然后投递被处理, 然后队列会减少, 我不清楚怎样去监视或取得 IOCP 的系统所在的队列, 无法查看,就只能靠猜啊。
在 ProcXP 中, 看到 IO 处理的值如下(8000 个连接时)

S IO READS: 111
S IO WRITE 104,290
S IO OTHRE 1,857,981

C IO READS: 15
C IO WRITE 7,531,489
CIO OTHRE 1,933,050

我的理解是 READS 是 Recv, 为什么服务器才 111? 而 Write 却这么大, 还有那个 OTHER 是什么鬼, 更加大

不知道是否有解决过种问题的大神, 希望赐教一下。
...全文
1128 5 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
jasonabc1 2016-06-10
  • 打赏
  • 举报
回复
基本追踪得到, 不是我响应慢, 是 IOCP 响应慢。 而程序对回发处理只需要低于 5ms 的响应时间。 但是完成端口堆积过多导致。 有没有做过 IOCP 并发处理性能测试的? 我的机器配置, 差不多并客户端, 服务端占用系统并发处理为 5000次每秒(含少量业务)
jasonabc1 2016-06-10
  • 打赏
  • 举报
回复
好吧, 自己写贴子也是重新的审视, 我知道为什么 S & C 的 IO WRITE 为什么这么高了, 因为是在玩命的写日志, 不过依然不知道 OTHER 是什么, 有没有什么办法可以看 IOCP 队列的, 我想知道为什么IOCP为什么越来越慢
worldy 2016-06-10
  • 打赏
  • 举报
回复
引用 楼主 jasonabc1 的回复:
测试硬件: 64位 10 windows, 32 位程序(C/S) I7 8 核 8G 内存 测试场景: C 也是同 S 一样的 IOCP 核心, 共同占用了系统IO队列, 当然, 是两个独立的程序。 只是我想即然都使用 IOCP 核心, 应该都占用系统 的IOCP 队列 测试业务: C 对 S 建立 TCP/IP 长连接, 连接后, 每 10 秒发送一次心跳 , 连接不主动断线 这是一个压力测试, 看看最大性能能达到何处: 先说说服务器状态: S 基本不怎么耗 CPU 和 内存, 低耗一直在 10% 以下, 内存慢慢上升到 100M 左右 根据我的性能统计: S 每秒处理 1500次 IO 业务, 1000~2500的波动 问题: 从开始, 一直到完全没办法响应(大约 9000 个链接就超时的不要不要的了) [23:06:01(580)]连接 Socket 建立成功,线程ID:735c,SOCKET = 1276 [23:06:01(580)]连接 Socket 建立成功,线程ID:2ec8,SOCKET = 1256 [23:06:01(593)]连接服务器成功 192.168.0.101:39999,线程ID:735c , 本地连接信息:192.168.0.101:32896,SOCKET = 1276,耗时:0.65ms [23:06:01(594)]连接服务器成功 192.168.0.101:39999,线程ID:2ec8 , 本地连接信息:192.168.0.101:32897,SOCKET = 1256,耗时:0.45ms 直到后来, 现在 8000 个连接 [23:56:41(146)]连接服务器成功 192.168.0.101:39999,线程ID:2d7c , 本地连接信息:192.168.0.101:43193,SOCKET = 33380,耗时:16776.38ms [23:56:41(146)]收接到 [ CHECKIN ] 耗时 22814.94ms [23:56:41(147)]收接到 [ CHECKIN ] 耗时 22848.86ms 真是天差地别。。。 IOCP 是越用越慢的吗? 因为现在大级别耗时, 服务器和客户端的 CPU 都没超过 5% , 倒是系统自占用一直都是 20% 我理解, 有投递, 然后投递被处理, 然后队列会减少, 我不清楚怎样去监视或取得 IOCP 的系统所在的队列, 无法查看,就只能靠猜啊。 在 ProcXP 中, 看到 IO 处理的值如下(8000 个连接时) S IO READS: 111 S IO WRITE 104,290 S IO OTHRE 1,857,981 C IO READS: 15 C IO WRITE 7,531,489 CIO OTHRE 1,933,050 我的理解是 READS 是 Recv, 为什么服务器才 111? 而 Write 却这么大, 还有那个 OTHER 是什么鬼, 更加大 不知道是否有解决过种问题的大神, 希望赐教一下。
问题基本上是出在你的代码上,内存申请困难、文件没有分块处理、内存没有及时释放等等,都可能造成效率问题
jasonabc1 2016-06-10
  • 打赏
  • 举报
回复
引用 2 楼 worldy 的回复:
[quote=引用 楼主 jasonabc1 的回复:] 测试硬件: 64位 10 windows, 32 位程序(C/S) I7 8 核 8G 内存 测试场景: C 也是同 S 一样的 IOCP 核心, 共同占用了系统IO队列, 当然, 是两个独立的程序。 只是我想即然都使用 IOCP 核心, 应该都占用系统 的IOCP 队列 测试业务: C 对 S 建立 TCP/IP 长连接, 连接后, 每 10 秒发送一次心跳 , 连接不主动断线 这是一个压力测试, 看看最大性能能达到何处: 先说说服务器状态: S 基本不怎么耗 CPU 和 内存, 低耗一直在 10% 以下, 内存慢慢上升到 100M 左右 根据我的性能统计: S 每秒处理 1500次 IO 业务, 1000~2500的波动 问题: 从开始, 一直到完全没办法响应(大约 9000 个链接就超时的不要不要的了) [23:06:01(580)]连接 Socket 建立成功,线程ID:735c,SOCKET = 1276 [23:06:01(580)]连接 Socket 建立成功,线程ID:2ec8,SOCKET = 1256 [23:06:01(593)]连接服务器成功 192.168.0.101:39999,线程ID:735c , 本地连接信息:192.168.0.101:32896,SOCKET = 1276,耗时:0.65ms [23:06:01(594)]连接服务器成功 192.168.0.101:39999,线程ID:2ec8 , 本地连接信息:192.168.0.101:32897,SOCKET = 1256,耗时:0.45ms 直到后来, 现在 8000 个连接 [23:56:41(146)]连接服务器成功 192.168.0.101:39999,线程ID:2d7c , 本地连接信息:192.168.0.101:43193,SOCKET = 33380,耗时:16776.38ms [23:56:41(146)]收接到 [ CHECKIN ] 耗时 22814.94ms [23:56:41(147)]收接到 [ CHECKIN ] 耗时 22848.86ms 真是天差地别。。。 IOCP 是越用越慢的吗? 因为现在大级别耗时, 服务器和客户端的 CPU 都没超过 5% , 倒是系统自占用一直都是 20% 我理解, 有投递, 然后投递被处理, 然后队列会减少, 我不清楚怎样去监视或取得 IOCP 的系统所在的队列, 无法查看,就只能靠猜啊。 在 ProcXP 中, 看到 IO 处理的值如下(8000 个连接时) S IO READS: 111 S IO WRITE 104,290 S IO OTHRE 1,857,981 C IO READS: 15 C IO WRITE 7,531,489 CIO OTHRE 1,933,050 我的理解是 READS 是 Recv, 为什么服务器才 111? 而 Write 却这么大, 还有那个 OTHER 是什么鬼, 更加大 不知道是否有解决过种问题的大神, 希望赐教一下。
问题基本上是出在你的代码上,内存申请困难、文件没有分块处理、内存没有及时释放等等,都可能造成效率问题[/quote] 由于服务端程序并没有满负荷运行, 怎么就看出来我有 申请困难, 没有释放的问题呢? CPU 都没转动, 都处于等待中啊。
jasonabc1 2016-06-10
  • 打赏
  • 举报
回复
修正一下提问, 有没有什么 API 可以查询IOCP 队列信息的? 以便做出正确的处理。 连接数就不说了, 10W 静态连接轻轻松松, 但是, 若是带上业务处理, 那就麻烦了。 IOCP 说实在的, 有很蛋痛的点。 好的机器对不好的服务器, 分分钟干翻对方。。。

18,363

社区成员

发帖
与我相关
我的任务
社区描述
VC/MFC 网络编程
c++c语言开发语言 技术论坛(原bbs)
社区管理员
  • 网络编程
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧