投递Accept I/O请求问题

[一开始的回忆]

我想问下,
::listen(sListen, 5);
1.是可以同时接收5个连接吗?如果同时有6个连接,会丢掉一个连接.
2.还是只接收5个连接,之后有连接也不接收了.

那么,用IOCP技术,在监听套节字上投递Accept I/O请求上,会有投递的Accept请求不够的问题.
那么,如果我一开始就投了5个,那这5个是并发操作吗,就是,如果我同时有6个连接,
而我只投了5个,所以会不够,是这样吗?

[僵哥]

[Quote=引用楼主 SyzCools 的帖子:]
我想问下,
::listen(sListen, 5);
1.是可以同时接收5个连接吗?如果同时有6个连接,会丢掉一个连接.
2.还是只接收5个连接,之后有连接也不接收了.

那么,用IOCP技术,在监听套节字上投递Accept I/O请求上,会有投递的Accept请求不够的问题.
那么,如果我一开始就投了5个,那这5个是并发操作吗,就是,如果我同时有6个连接,
而我只投了5个,所以会不够,是这样吗?
[/Quote]
当服务器来不及accept的时候,在等待accept的队列当中同一时间最多有5个.

如果使用AcceptEx,则在系统底层已经帮你完成了Accept操作,然后才通知应用层.

[一开始的回忆]

那,用IOCP技术,在监听套节字上投递Accept I/O请求上,为什么会有投递的Accept请求不够的问题.

[jingtan]

[Quote=引用 2 楼 SyzCools 的回复:]
那,用IOCP技术,在监听套节字上投递Accept I/O请求上,为什么会有投递的Accept请求不够的问题.
[/Quote]
是Accept请求不够?accept返回错误吗? 当套接字标记为非阻塞的时候,accept可能会返回SOCKET_ERROR,GetLastError()取得错误值WSAEWOULDBLOCK.表示当前没有连接请求.

[一开始的回忆]

BOOL CIOCPServer::Start(int nPort, int nMaxConnections, 
			int nMaxFreeBuffers, int nMaxFreeContexts, int nInitialReads)
{
	// 检查服务是否已经启动
	if(m_bServerStarted)
		return FALSE;

	// 保存用户参数
	m_nPort = nPort;
	m_nMaxConnections = nMaxConnections;
	m_nMaxFreeBuffers = nMaxFreeBuffers;
	m_nMaxFreeContexts = nMaxFreeContexts;
	m_nInitialReads = nInitialReads;

	// 初始化状态变量
	m_bShutDown = FALSE;
	m_bServerStarted = TRUE;


	// 创建监听套节字，绑定到本地端口，进入监听模式
	m_sListen = ::WSASocket(AF_INET, SOCK_STREAM, 0, NULL, 0, WSA_FLAG_OVERLAPPED);
	SOCKADDR_IN si;
	si.sin_family = AF_INET;
	si.sin_port = ::ntohs(m_nPort);
	si.sin_addr.S_un.S_addr = INADDR_ANY;
	if(::bind(m_sListen, (sockaddr*)&si, sizeof(si)) == SOCKET_ERROR)
	{
		m_bServerStarted = FALSE;
		return FALSE;
	}
	::listen(m_sListen, 200);

	// 创建完成端口对象
	m_hCompletion = ::CreateIoCompletionPort(INVALID_HANDLE_VALUE, 0, 0, 0);

	// 加载扩展函数AcceptEx
	GUID GuidAcceptEx = WSAID_ACCEPTEX;
	DWORD dwBytes;
	::WSAIoctl(m_sListen, 
		SIO_GET_EXTENSION_FUNCTION_POINTER, 
		&GuidAcceptEx, 
		sizeof(GuidAcceptEx),
		&m_lpfnAcceptEx, 
		sizeof(m_lpfnAcceptEx), 
		&dwBytes, 
		NULL, 
		NULL);
	
	// 加载扩展函数GetAcceptExSockaddrs
	GUID GuidGetAcceptExSockaddrs = WSAID_GETACCEPTEXSOCKADDRS;
	::WSAIoctl(m_sListen,
		SIO_GET_EXTENSION_FUNCTION_POINTER,
		&GuidGetAcceptExSockaddrs,
		sizeof(GuidGetAcceptExSockaddrs),
		&m_lpfnGetAcceptExSockaddrs,
		sizeof(m_lpfnGetAcceptExSockaddrs),
		&dwBytes,
		NULL,
		NULL
		);
	
	
	// 将监听套节字关联到完成端口，注意，这里为它传递的CompletionKey为0
	::CreateIoCompletionPort((HANDLE)m_sListen, m_hCompletion, (DWORD)0, 0);

	// 注册FD_ACCEPT事件。
	// 如果投递的AcceptEx I/O不够，线程会接收到FD_ACCEPT网络事件，说明应该投递更多的AcceptEx I/O
	WSAEventSelect(m_sListen, m_hAcceptEvent, FD_ACCEPT);

	// 创建监听线程
	m_hListenThread = ::CreateThread(NULL, 0, _ListenThreadProc, this, 0, NULL);
	
	return TRUE;
}

这个是开始部分

DWORD WINAPI CIOCPServer::_ListenThreadProc(LPVOID lpParam)
{
	CIOCPServer *pThis = (CIOCPServer*)lpParam;

	// 先在监听套节字上投递几个Accept I/O
	CIOCPBuffer *pBuffer;
	for(int i=0; i<pThis->m_nInitialAccepts; i++)
	{
		pBuffer = pThis->AllocateBuffer(BUFFER_SIZE);//为缓冲区对象申请内存
		if(pBuffer == NULL)
			return -1;
		pThis->InsertPendingAccept(pBuffer);	// 将一个I/O缓冲区对象插入到m_pPendingAccepts表中
		pThis->PostAccept(pBuffer);// 在监听套节字上投递Accept请求
	}

	// 构建事件对象数组，以便在上面调用WSAWaitForMultipleEvents函数
	HANDLE hWaitEvents[2 + MAX_THREAD];
	int nEventCount = 0;
	hWaitEvents[nEventCount ++] = pThis->m_hAcceptEvent;
	hWaitEvents[nEventCount ++] = pThis->m_hRepostEvent;

	// 创建指定数量的工作线程在完成端口上处理I/O
	for(i=0; i<MAX_THREAD; i++)
	{
		hWaitEvents[nEventCount ++] = ::CreateThread(NULL, 0, _WorkerThreadProc, pThis, 0, NULL);
	}

	// 下面进入无限循环，处理事件对象数组中的事件
	while(TRUE)
	{
		int nIndex = ::WSAWaitForMultipleEvents(nEventCount, hWaitEvents, FALSE, 60*1000, FALSE);
	
		// 首先检查是否要停止服务
		if(pThis->m_bShutDown || nIndex == WSA_WAIT_FAILED)
		{
			// 关闭所有连接
			pThis->CloseAllConnections();
			::Sleep(0);		// 给I/O工作线程一个执行的机会
			// 关闭监听套节字
			::closesocket(pThis->m_sListen);
			pThis->m_sListen = INVALID_SOCKET;
			::Sleep(0);		// 给I/O工作线程一个执行的机会

			// 通知所有I/O处理线程退出
			for(int i=2; i<MAX_THREAD + 2; i++)
			{	
				::PostQueuedCompletionStatus(pThis->m_hCompletion, -1, 0, NULL);
			}

			// 等待I/O处理线程退出
			::WaitForMultipleObjects(MAX_THREAD, &hWaitEvents[2], TRUE, 5*1000);

			for(i=2; i<MAX_THREAD + 2; i++)
			{	
				::CloseHandle(hWaitEvents[i]);
			}
		
			::CloseHandle(pThis->m_hCompletion);

			pThis->FreeBuffers();
			pThis->FreeContexts();
			::ExitThread(0);
		}	

		// 1）定时检查所有未返回的AcceptEx I/O的连接建立了多长时间
		if(nIndex == WSA_WAIT_TIMEOUT)
		{
			pBuffer = pThis->m_pPendingAccepts;
			while(pBuffer != NULL)
			{
				int nSeconds;
				int nLen = sizeof(nSeconds);
				// 取得连接建立的时间
				::getsockopt(pBuffer->sClient, 
					SOL_SOCKET, SO_CONNECT_TIME, (char *)&nSeconds, &nLen);	
				// 如果超过2分钟客户还不发送初始数据，就让这个客户go away
				if(nSeconds != -1 && nSeconds > 2*60)
				{   
					closesocket(pBuffer->sClient);
                    pBuffer->sClient = INVALID_SOCKET;
				}

				pBuffer = pBuffer->pNext;
			}
		}
		else
		{
//001********************************************************************************************************************
			nIndex = nIndex - WAIT_OBJECT_0;
			WSANETWORKEVENTS ne;
                        int nLimit=0;
			if(nIndex == 0)			// 2）m_hAcceptEvent事件对象受信，说明投递的Accept请求不够，需要增加
			{
				::WSAEnumNetworkEvents(pThis->m_sListen, hWaitEvents[nIndex], &ne);
				if(ne.lNetworkEvents & FD_ACCEPT)
				{
					nLimit = 50;  // 增加的个数，这里设为50个
				}
			}
//002********************************************************************************************************************
			else if(nIndex == 1)	// 3）m_hRepostEvent事件对象受信，说明处理I/O的线程接受到新的客户
			{
				nLimit = InterlockedExchange(&pThis->m_nRepostCount, 0);
			}
			else if(nIndex > 1)		// I/O服务线程退出，说明有错误发生，关闭服务器
			{
				pThis->m_bShutDown = TRUE;
				continue;
			}
//003********************************************************************************************************************
			// 投递nLimit个AcceptEx I/O请求
			int i = 0;
			while(i++ < nLimit && pThis->m_nPendingAcceptCount < pThis->m_nMaxAccepts)
			{
				pBuffer = pThis->AllocateBuffer(BUFFER_SIZE);
				if(pBuffer != NULL)
				{
					pThis->InsertPendingAccept(pBuffer);
					pThis->PostAccept(pBuffer);
				}
			}
//**********************************************************************************************************************
		}
	}
	return 0;
}

001中不是说:// 2）m_hAcceptEvent事件对象受信，说明投递的Accept请求不够，需要增加吗
然后在003中又:投递nLimit个AcceptEx I/O请求
怎么理解?

主要代码给出了,没有给完,太多了.注释也有,先谢谢大家了

[僵哥]

[Quote=引用 2 楼 SyzCools 的回复:]
那,用IOCP技术,在监听套节字上投递Accept I/O请求上,为什么会有投递的Accept请求不够的问题.
[/Quote]
所谓的不够是指有大量用户同时请求连接,而在服务器还没有达到完全饱和的情况下,还完全可以必要去投递更多的Accept请求.
就好比一台服务器,总有有32个核,那么理论上一次性可以同时接受32个连接,如果你只投递了5个,那么同一时间就只有5个连接,从而并没有达到理论上的饱和值.

[一开始的回忆]

那也就是说,一开始也就可以确定需要投多少个Accept请求了吗?
而不需要以后再增加了吗?

那么还有就是,5个核的服务器要投20个Accept请求会怎样?效率低?还是会怎么?

[僵哥]

[Quote=引用 6 楼 SyzCools 的回复:]
那也就是说,一开始也就可以确定需要投多少个Accept请求了吗?
而不需要以后再增加了吗?

那么还有就是,5个核的服务器要投20个Accept请求会怎样?效率低?还是会怎么?
[/Quote]
没有绝对的.Accept不需要太多.理论上来讲,应该是多少个核投多少个,但是毕竟Accept处理还是需要时间的,所以也可以增加.

[僵哥]

这些非关键性的东西,完全不需要去考虑它.基本上设计的时候有多少个核给多少个就OK了.

[Wenxy1]

我想问下,
::listen(sListen, 5);
1.是可以同时接收5个连接吗?如果同时有6个连接,会丢掉一个连接.
2.还是只接收5个连接,之后有连接也不接收了.
答： 5 是指backlog(积压值,指明backlog队列的长度),见《TCP/IP详解》卷一第195页。5就是说tcp的三次或四次据手连接已完成，等待应用层去接受。一般来说应用层去接受是很快的，就是调用API accept,所以很少会导致这个队列超出5的现象。当然要是达到5了，肯定后面的连接中的tcp握手过程会等待，具本上要看TCP/IP协议栈的实现。

[Eleven]

学习了

[scq2099yt]

分析得很透彻阿