IOCP占用内存问题

xian_wwq 2013-05-10 05:42:15

问题描述：
使用IOCP做数据传输，压力测试时（200~300 client），软件功能正常，但内存占用会
持续上涨。当进程占用1.3G内存时，停止Server，可以看到线程数从70左右降为1，句柄数从2000左
右降为700，但内存仅释放400M左右，有900M未释放。
因为内存分配使用的是比较成熟的内存池，软件退出时根据日志可以判定没有内存泄
露。请大牛帮忙分析，这900M内存占用是什么原因引起的？是由于IOCP投递被系统锁定？

...全文

319 12 打赏收藏转发到动态举报

写回复

用AI写文章

12 条回复

切换为时间正序

请发表友善的回复…

发表回复

xian_wwq 2014-08-15

打赏
举报

引用 11 楼 u014205366 的回复:

请问楼主可以提供UDMH的压缩包不，我在网上没有找到UDMH下载的。谢谢了！

没有注意到你的留言， umdh不是单独的工具，安装windbg工具后就有了

燕子-hh 2014-04-13

打赏
举报

请问楼主可以提供UDMH的压缩包不，我在网上没有找到UDMH下载的。谢谢了！

燕子-hh 2014-04-13

打赏
举报

楼主你好，我目前在进行IOCP的开发中也出现了这个问题。服务器连接60个客户端后（每个客户端每200ms发送一次数据给客户端），运行不了几个小时就出现问题了。其中cpu增长很快，如果连接1个客户端，其中也是以4K的速度增长，连接60个就差不多以60K的速度增长。请帮忙指点下，我主要是引用了网上的IOCPS和Myiocp两个类。其中类引用地址：http://www.pudn.com/downloads38/sourcecode/windows/network/detail126796.html#

xian_wwq 2013-05-21

打赏
举报

引用 8 楼 ll1798cn 的回复:

UDMH 捕获分析下程序的堆内存的分配情况。

非常有效的工具，很快找到了业务层的BUG，目前看来和IOCP关联不大。等压力测试后再结贴，谢谢大家的关注！

ll1798cn 2013-05-19

打赏
举报

UDMH 捕获分析下程序的堆内存的分配情况。

xian_wwq 2013-05-17

打赏
举报

引用 6 楼 luoshao20120430 的回复:

贴上你代码看看。

代码太长，我说说实现思路。IOCP以DLL的方式被上层业务调用。


typedef struct _SIOCPRWContext
{
	OVERLAPPED m_overlapped;	// 每一个重叠网络操作的重叠结构(针对每一个Socket的每一个操作，都要有一个)		20        
	EIOCPPostType m_ePostType;	// 标识网络操作的类型(对应上面的枚举)											4

	SOCKET	m_socket;			// 网络操作所使用的Socket													4
	WSABUF	m_wsaBuf;			// WSA类型的读缓冲区，用于给重叠操作传参数的				8
	DWORD	m_nTotalBytes;		// 数据总的字节数
	DWORD	m_nBytes;		    // 已读取的字节数，初始设置为0
	char*   m_pBufAddress;      // 缓冲区初始地址,在接收buffer调整时保存buffer首址 
	
}*PSIOCPRWContext,SIOCPRWContext;
const ULONG SIOCPRWContextSize = sizeof(SIOCPRWContext);

typedef struct _PER_SOCKET_Context
{  
	SOCKET      m_Socket;                               //连接客户端的socket
	SOCKADDR_IN m_ClientAddr;                           //客户端地址

} SIOCPSocketContext, *PIOCPSocketContext;
const ULONG SSIOCPSocketContextSize = sizeof(SIOCPSocketContext);

1. IOCP部分不理解业务，通过回调函数按照业务层的要求初始化Buffer. 写投递有一次memcpy动作；读投递兼顾拼包。 2. 上层业务要发送实时数据和历史数据（差别是实时数据业务层处理所需时间短，发送数据量较小，历史数据业务层处理所需时间较长，发送数据较大），目前测试发送实时数据，内存占用正常，进程退出可以完全释放；但发送历史数据时，内存占用会持续上涨，退出时有上述问题。这种情况是否可以认定IOCP模块没有问题，问题是上层业务代码Bug导致的？如有未说清楚的，请大牛们指点，我继续补充。