昨晚通宵没睡,搞定的一个IOCP 问题,分享一下,不看的绝对会后悔!

zhouzhipen 2011-07-04 05:53:39
加精
昨晚通宵没睡,搞定了这个问题,先看一段代码(下面的代码都做了简化):

//监听线程
DWORD WINAPI CService::ClientListen(void* p)
{
while(TRUE)
{
SOCKET clientSocket=::accept(m_pInstance->m_hServiceSocket,NULL,NULL);
if(clientSocket==SOCKET_ERROR)
continue;
::CreateIoCompletionPort((HANDLE)clientSocket,m_pInstance->m_hServiceIocp,0,0);

LPIOCONTEXT pIoContext=(LPIOCONTEXT)GlobalAlloc(GPTR, sizeof( IOCONTEXT));

pIoContext->wsaBuffer.buf=pIoContext->pWorkBuffer;
pIoContext->wsaBuffer.len=10;

//下面的代码会引发非常诡异的问题,后面会讲到
UINT nRetVal =::WSARecv((SOCKET)clientSocket,&(pIoContext->wsaBuffer),1,&(pIoContext->dwIoSize),&(pIoContext->dwlFlags),&(pIoContext->overlapped), NULL);/*关键位置A*/
}
return 0;
}


上面的这段代码看上去没什么问题,但事实上会引发服务崩溃。接着看:

//完成处理线程
DWORD WINAPI CService::DoService(void* p)
{
DWORD dwBytesXfered=0;
DWORD dwKey=0;
LPIOCONTEXT pIoContext=NULL;
while(TRUE)
{
GetQueuedCompletionStatus(m_pInstance->m_ServiceIocp,&dwBytesXfered,&dwKey,(LPOVERLAPPED*)(&pIoContext),INFINITE);
GlobalFree(pIoContext);/*位置B*/
}
return 0;
}


上面这段代码看上去也没有问题(其实也确实没问题),但死了我无数的脑细胞。

问题描述:
服务器在接受几个连接之后,要么无故退出,要么就是程序出错Windows要关闭它。
通过调试器运行,提示堆破坏,难道有使用了已释放的内存?检查了3个小时,没找出有可能出现内存错误的地方。
后来实在没办法了,把所有的分配内存的地方地改成GlobalAlloc与GlobalFree,但问题仍旧存在。
最后,干脆把所有的内存释放的地方全去掉,然后逐个调试(加上一个,运行一遍),看看到底是哪个内存出错了,昨晚大部会时间花在这上面了(调试堆破坏我只有这一个办法,不知道高手有其它方法没有?望赐教!)。
最后定位到上面的B处 GlobalFree。

但究竟是什么原因造成的呢?
在网上也找不出所以然,最后几乎快要放弃了,但偶然间改了A处的两个地方,服务器安全运行了(激动啊)!!
改变如下:
UINT nRetVal =::WSARecv((SOCKET)clientSocket,&(pIoContext->wsaBuffer),1,&(pIoContext->dwIoSize),&(pIoContext->dwlFlags),&(pIoContext->overlapped), NULL);
变为
DWORD dwRecvbytes=0;
DWORD dwlFlags=0;
UINT nRetVal =::WSARecv((SOCKET)clientSocket,&(pIoContext->wsaBuffer),1,&dwIoSize,&dwlFlags,&(pIoContext->overlapped), NULL);

也就是说,把WSARecv 第4、第5个参数改成使用局部变量。

现在问题是解决了,但具体原因还只是猜测:
如果不使用局部变量作为参数,那么在IO 等待中系统将会一直引用这两个变量,就算是一个IO完成了,系统内部仍然在使用所以当释放内存后,系统再次使用变量时就破坏了堆数据。


上面的废话比较多,希望大家能看懂,同时也希望看明白的说说自己的看法。做服务器我是新手,希望高手多多指点!
...全文
6152 209 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
209 条回复
切换为时间正序
请发表友善的回复…
发表回复
饭怕稀 2012-08-21
  • 打赏
  • 举报
回复
学习学习
vincent2600 2012-08-16
  • 打赏
  • 举报
回复
iocp不熟
shuot 2012-02-06
  • 打赏
  • 举报
回复
WRecv函数里面需要往那个地方写入返回值。
你把他在另一个线程里面释放了,不挂就奇怪了。
yibalaodao1 2011-08-11
  • 打赏
  • 举报
回复
为什么不用boost::asio
bmwdoc 2011-08-10
  • 打赏
  • 举报
回复
四个中文字
Im17benteng 2011-08-03
  • 打赏
  • 举报
回复
楼主这个地方应该使用acceptex,还有在传入参数前把这两变量的值征新初始化一次就解决问题了
你把变量地址传进去了,值是要改变的
雨夜枫林 2011-07-22
  • 打赏
  • 举报
回复
[Quote=引用 74 楼 sxqinge 的回复:]

学海无涯,我表示很白菜,学习下
[/Quote]
同是顶贴者。。。。。。。。。。
大风扯 2011-07-15
  • 打赏
  • 举报
回复
顶下,好东西呀 呵呵俄
barbarian110 2011-07-15
  • 打赏
  • 举报
回复
Mark!
帝国队长 2011-07-14
  • 打赏
  • 举报
回复
顶,不错~~~
zhouzhipen 2011-07-14
  • 打赏
  • 举报
回复
看了大家的意见,又反复做了几天试验,结果还是觉得问题是出在变量问题上。
我喝多了 2011-07-14
  • 打赏
  • 举报
回复

BOOL CClient::Recv()
{
DWORD flags=0;
DWORD recvBytes=0;
ZeroMemory(&m_IO,sizeof(IO_OPERATION_DATA));
m_IO.type=READ;

if(WSARecv(m_s,&m_IO.dataBuf,1,&recvBytes,&flags,&m_IO.overlapped,NULL)==SOCKET_ERROR)
{
if(ERROR_IO_PENDING!=WSAGetLastError())
{
return FALSE;
}
}
return TRUE;
}
我喝多了 2011-07-14
  • 打赏
  • 举报
回复
学习来了,这个问题是隐含错误,不容易发现。孙海民的书上也是用的局部变量
流星齐 2011-07-13
  • 打赏
  • 举报
回复
路过接分
野男孩 2011-07-13
  • 打赏
  • 举报
回复
WSARecv是异步调用,这条语句结束后,while循环从头开始,此时,之前的局部变量地址可能被复用。

所以WSARecv里面的参数地址用局部变量地址,应该不是正确的做法。


有时候,程序不出错,不表示没有问题。

lz不妨把出错的完整工程贴出来,大家都调试一下看看,到底是啥问题。
wangchao_815 2011-07-13
  • 打赏
  • 举报
回复
好贴要顶 mar在看
白发悲花落 2011-07-11
  • 打赏
  • 举报
回复
楼主强大,小弟表示看不懂
qq1077483 2011-07-09
  • 打赏
  • 举报
回复
看不懂啊。学习了。
vampire0 2011-07-09
  • 打赏
  • 举报
回复
我的服务器也有类似的问题,但是服务器不太一样。。不过对我还是有点用的感觉
kingmax54212008 2011-07-09
  • 打赏
  • 举报
回复
mark~~~
加载更多回复(179)
最近有项目要做一个高性能网络服务器,决定下功夫搞定完成端口(IOCP),最终花了一个星期终于把它弄清楚了,并用C++写了一个版本,效率很不错。 但,从项目的总体需求来考虑,最终决定上.net平台,因此又花了一天一夜弄出了一个C#版,在这与大家分享。 一些心得体: 1、在C#中,不用去面对完成端口的操作系统内核对象,Microsoft已经为我们提供了SocketAsyncEventArgs类,它封装了IOCP的使用。请参考:http://msdn.microsoft.com/zh-cn/library/system.net.sockets.socketasynceventargs.aspx?cs-save-lang=1&cs-lang=cpp#code-snippet-1。 2、我的SocketAsyncEventArgsPool类使用List对象来存储对客户端来通信的SocketAsyncEventArgs对象,它相当于直接使用内核对象时的IoContext。我这样设计比用堆栈来实现的好处理是,我可以在SocketAsyncEventArgsPool池中找到任何一个与服务器连接的客户,主动向它发信息。而用堆栈来实现的话,要主动给客户发信息,则还要设计一个结构来存储已连接上服务器的客户。 3、对每一个客户端不管还发送还是接收,我使用同一个SocketAsyncEventArgs对象,对每一个客户端来说,通信是同步进行的,也就是说服务器高度保证同一个客户连接上要么在投递发送请求,并等待;或者是在投递接收请求,等待中。本例只做echo服务器,还未考虑由服务器主动向客户发送信息。 4、SocketAsyncEventArgs的UserToken被直接设定为被接受的客户端Socket。 5、没有使用BufferManager 类,因为我在初始化时给每一个SocketAsyncEventArgsPool中的对象分配一个缓冲区,发送时使用Arrary.Copy来进行字符拷贝,不去改变缓冲区的位置,只改变使用的长度,因此在下次投递接收请求时恢复缓冲区长度就可以了!如果要主动给客户发信息的话,可以new一个SocketAsyncEventArgs对象,或者在初始化中建立几个来专门用于主动发送信息,因为这种需求一般是进行信息群发,建立一个对象可以用于很多次信息发送,总体来看,这种花销不大,还减去了字符拷贝和消耗。 6、测试结果:(在我的笔记本上时行的,我的本本是T420 I7 8G内存) 100客户 100,000(十万次)不间断的发送接收数据(发送和接收之间没有Sleep,就一个一循环,不断的发送与接收) 耗时3004.6325 秒完成 总共 10,000,000 一千万次访问 平均每分完成 199,691.6 次发送与接收 平均每秒完成 3,328.2 次发送与接收 整个运行过程中,内存消耗在开始两三分种后就保持稳定不再增涨。 看了一下对每个客户端的延迟最多不超过2秒。
完成端口通讯服务器(IOCP Socket Server)设计 (六)功能强大的IOCP Socket Servre模块例程源码 Copyright © 2009 代码客(卢益贵)版权所有 QQ:48092788 源码博客:http://blog.csdn.net/guestcode 一、声明 版权声明: 1、通讯模块代码版权归作者所有; 2、未经许可不得全部或部分用于任何项目开发; 3、未经许可不得部分修改后再利用源码。 免责声明: 1、 由于设计缺陷或其它Bug造成的后果,作者不承担责任; 2、未经许可的使用作者不提供任何技术支持服务。 权利和义务: 1、任何获得源码并发现Bug的个人或单位均有义务向作者反映; 2、作者保留追究侵权者法律责任的权利。 二、开发背景 部分代码由前项目分离而来,尚未有应用考验,但对于初学者学习和进阶有很大帮助。性能上尚未有定论,但应该不令你失望。 三、功能说明 1、可以关闭Socket的Buffer; 2、可以关闭MTU(不等待MTU满才发送); 3、可以多IP或多端口监听; 4、可以重用socket(主动关闭除外); 5、可以0缓冲接收(Socket的Buffe = 0时,避免过多的锁定内存页); 6、可以0缓冲连接(客户端仅连接,不一定立即发数据); 7、可以条件编译: a、是否使用内核Singly-linked lists; b、是否使用处理线程(工作线程和处理线程分开); c、是否使用内核锁来同步链表。 8、可以实现集群服务器模式的通讯(有客户端socket); 9、可以单独设置每个连接的Data项来实现连接和Usernfo的关联; 10、每个线程有OnBegin和OnEnd,用于设置线程独立的对象(数据库话对象); 11、可以提供详细的运行情况,便于了解IOCP下的机制,以及进行调试分析; 12、可以发起巨量连接和数据(需要硬件配置来支持)。

18,363

社区成员

发帖
与我相关
我的任务
社区描述
VC/MFC 网络编程
c++c语言开发语言 技术论坛(原bbs)
社区管理员
  • 网络编程
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧