编写完成端口网络服务器的一些说明 (1)

[everandforever]

最近完成端口的帖子和文章好多呀~, 我也写了一篇.
权当是新年礼物, 祝各位看客猴年前程似锦!

顺便祝自己生日快乐, 1月22号.

-------------------------------------------------------------------------

1. AcceptEx:

BOOL
PASCAL FAR
AcceptEx (
IN SOCKET sListenSocket,
IN SOCKET sAcceptSocket,
IN PVOID lpOutputBuffer,
IN DWORD dwReceiveDataLength,
IN DWORD dwLocalAddressLength,
IN DWORD dwRemoteAddressLength,
OUT LPDWORD lpdwBytesReceived,
IN LPOVERLAPPED lpOverlapped
);

用来发起一个异步的调用, 接受客户端将要发出的连接请求. 与 accept 不同的是, 你必须先手动创建一个 socket 提供给 AcceptEx, 用来接受连接 ( accept 是内在地创建一个 socket 接受连接, 并返回值 ). 而且, accept 创建的 socket 会自动继承监听 socket 的属性, AcceptEx 却不会. 因此如果有必要, 在 AcceptEx 成功接受了一个连接之后, 我们必须调用:

setsockopt( hAcceptSocket, SOL_SOCKET, SO_UPDATE_ACCEPT_CONTEXT, ( char* )&( hListenSocket ), sizeof( hListenSocket ) );

来做到这一点.


AcceptEx 允许在接受连接的同时接收对方发来的第一组数据, 这当然是出于性能的考虑. 但是这时候 AcceptEx 最少要接收到一个字节的数据才会返回, 一旦碰到恶意连接它就永远不会返回了. 关闭这项功能的方式是: 把参数 dwReceiveDataLength 至为 0, 打开则相反. 当然了, 如果一定要启用这个功能, 我们也有防御的办法. 启动一个线程定时地检测每一个 AcceptEx 是否已经连接, 连接时间为多久, 以此判断对方是否是恐怖分子:

int iSecs;
int iBytes = sizeof( int );
getsockopt( hAcceptSocket, SOL_SOCKET, SO_CONNECT_TIME, (char *)&iSecs, &iBytes );

iSecs 为 -1 表示还未建立连接, 否则就是已经连接的时间.


调用 AcceptEx 的方式:

#include <Mswsock.h> // for WSAID_ACCEPTEX
typedef BOOL ( WINAPI * PFNACCEPTEX ) ( SOCKET, SOCKET, PVOID, DWORD, DWORD, DWORD, LPDWORD, LPOVERLAPPED );
PFNACCEPTEX pfnAcceptEx;
DWORD dwBytes;
GUID guidAcceptEx = WSAID_ACCEPTEX;
::WSAIoctl( hListenSocket, SIO_GET_EXTENSION_FUNCTION_POINTER, &guidAcceptEx, sizeof( guidAcceptEx ), &pfnAcceptEx, sizeof( pfnAcceptEx ), &dwBytes, NULL, NULL );

DWORD uAddrSize = sizeof( SOCKADDR_IN ) + 16;
DWORD uDataSize = 0;
BOOL bRes = pfnAcceptEx( hListenSocket, hAcceptSocket, buffer, uDataSize, uAddrSize, uAddrSize, &uAddrSize, ( LPWSAOVERLAPPED )overlapped );

其中, buffer 和 overlapped 要根据你自己的用途来定了, 这里只是拿来充数.

一旦 AcceptEx 调用完成 ( 通过完成端口通知你 ), 接下来的步骤就是:

1. 上面讲的 SO_UPDATE_ACCEPT_CONTEXT;
2. 将 hAcceptSocket 绑定到完成端口.


-------------------------------------------------------------------------

2. TransmitFile

TransmitFile 顾名思义是用来进行文件传输的函数, 全自动无需干涉的. 在 Win NT 专业版/家庭版上无法发挥全部性能. 在这里只讨论它的一个功能: 关闭一个 SOCKET 并再次初始化它. 创建一个 SOCKET 是很耗时的, 因此这么做可以节约大量时间:

#include <Mswsock.h> // for WSAID_TRANSMITFILE
typedef BOOL ( WINAPI * PFNTRANSMITFILE ) ( SOCKET, HANDLE, DWORD, DWORD, LPOVERLAPPED, LPTRANSMIT_FILE_BUFFERS, DWORD );
PFNACCEPTEX pfnTransmitFile;
DWORD dwBytes;
GUID guidTransmitFile = WSAID_TRANSMITFILE;
::WSAIoctl( hListenSocket, SIO_GET_EXTENSION_FUNCTION_POINTER, &guidTransmitFile,
sizeof( guidTransmitFile ), &pfnTransmitFile,
sizeof( pfnTransmitFile ), &dwBytes, NULL, NULL );

pfnTransmitFile( hAcceptSocket, NULL, 0, 0, NULL, NULL, TF_DISCONNECT | TF_REUSE_SOCKET );

经过这个函数处理的 SOCKET 可以作为接受连接的 socket 提交给 AcceptEx 再次使用. 当这样的 socket 接受连接成功后, 如果往完成端口上绑定会出错 - 因为上次接受连接成功时已经绑定过了, 这个错误可以忽略.


-------------------------------------------------------------------------

3. FD_ACCEPT

即使我们在程序启动时发起了再多的 AcceptEx , 也有可能碰到数目不够用户连不上来的情况. 在 Win2000 或更高版本的系统上, 我们可以通过 WSAEventSelect 注册一个 FD_ACCEPT 事件. 当 AcceptEx 数目不足以应付大量的连接请求时, 这个事件会被触发. 于是我们就可以发出更多的 AcceptEx, 而且我们还可以抽空辨别一下 AcceptEx 为什么这么快就用光了, 是不是碰上攻击者了( 辨别方法见上文所述 ) ?

HANDLE hAcceptExThreadEvent = ::CreateEvent( NULL, TRUE, FALSE, _T("AcceptExThreadEvent") );
::WSAEventSelect( hListenSocket, hAcceptExThreadEvent, FD_ACCEPT );

DWORD WINAPI AcceptExThread( LPVOID lpParameter )
{
// 负责保证有足够多的 AcceptEx 可以接受连接请求的线程

for( UINT i = 0; i < 10; i ++ ) // 程序启动时发起的 AcceptEx
{
pfnAcceptEx( hListenSocket, ... );
}

while( TRUE )
{
DWORD dwRes = ::WaitForSingleObject( hAcceptExThreadEvent, INFINITE );
if( dwRes == WAIT_FAILED )
{
break;
}
::ResetEvent( hAcceptExThreadEvent );
if( m_sbWaitForExit )
{ // 当然, 退出线程也是这个 Event 通知
break;
}
pfnAcceptEx( hListenSocket, ... );

//
// ... 在此检查是否被攻击
//
}
return 0;
}

要说明的是, WSAEventSelect() 所需的 WSAEVENT 和 CreateEvent() 所创建的 EVENT 是通用的.


-------------------------------------------------------------------------

4. WSASend 和 WSARecv

默认情况下, 每一个 socket 在系统底层都拥有一个发送和接收缓冲区.

我们发送数据时, 实际上是把数据复制到发送缓冲区中, 然后 WSASend 返回. 但是如果发送缓冲区已经满了, 那么我们在 WSASend 中指定的缓冲区就会被锁定到系统的非分页内存池中, WSASend 返回 WSA_IO_PENDING. 一旦网络空闲下来, 数据将会从我们提交的缓冲区中直接被发送出去, 与 " 我们的缓冲区->发送缓冲区->网络 " 相比节省了一次复制操作.

WSARecv 也是一样, 接收数据时直接把接收缓冲区中的数据复制出来. 如果接收缓冲区中没有数据, 我们在 WSARecv 中指定的缓冲区就会被锁定到系统的非分页内存池以等待数据, WSARecv 返回 WSA_IO_PENDING. 如果网络上有数据来了, 这些数据将会被直接保存到我们提供的缓冲区中.

如果一个服务器同时连接了许多客户端, 对每个客户端又调用了许多 WSARecv, 那么大量的内存将会被锁定到非分页内存池. 锁定这些内存时是按照页面边界来锁定的, 也就是说即使你 WSARecv 的缓存大小是 1 字节, 被锁定的内存也将会是 4k. 非分页内存池是由整个系统共用的, 如果用完的话最坏的情况就是系统崩溃. 一个解决办法是, 使用大小为 0 的缓冲区调用 WSARecv. 等到调用成功时再换用非阻塞的 recv 接收到来的数据, 直到它返回 WSAEWOULDBLOCK 表明数据已经全部读完. 在这个过程中没有任何内存需要被锁定, 但坏处是效率稍低.

-------------------------------------------------------------------------

详见: <<Windows 网络编程(第二版)>> 第六章

下载: http://expert.csdn.net/Expert/TopicView1.asp?id=2659617

[yintongshun]

很好，Mark!

[flagfly]

mark

[ppyy]

我看错了，我找到了，SDK里的例子里调用了SO_UPDATE_ACCEPT_CONTEXT：）

[ppyy]

现在的疑问就是靠 SO_CONNECT_TIME 来得到连接的时间判断是否是恶意连接好像不太准确？

假设我们设定如果连接时间超过了5分钟就认为是恶意连接，那么如果一个合法的连接连接了5分钟，并且在这5分钟里一直在收发数据，那么有可能被误判。。。

或者是我理解错误？

[everandforever]

SO_CONNECT_TIME 判断的就是自成功连接以来的时间, 即使在不停发数据它也是正常计算时间的. 判断是不是攻击的方式应该是 连接了很长时间, 但是ACCEPTEX却还没有返回.

[everandforever]

还有, SO_UPDATE_ACCEPT_CONTEXT 的确不是必须的, 依据各人需要了.

[warton]

这几天怎么到处都是iocp的？

[warton]

用IOCP模式写的Server和Client。希望对正在为这东西头痛的兄弟们有用。
作　　者： pp616 (游戏全删了)
等　　级：
信 誉 值： 100
所属论坛： C++ Builder 网络及通讯开发
问题点数： 20
回复次数： 12
发表时间： 2003-12-15 2:35:57

压缩包内有编译好的程序和整个工程的全部代码。
希望对兄弟们有用。

服务器程序：
http://www.cnxbb.com/bcb/xbb_server_iocp.rar

模拟多客户端程序
http://www.cnxbb.com/bcb/EchoClient.rar

[ppyy]

判断是不是攻击的方式应该是 连接了很长时间, 但是ACCEPTEX却还没有返回.


发出AcceptEx调用在A线程里，检查连接时间和AcceptEx还没有返回的线程在B线程里。。。

检查连接时间比较好办，但是如何判断某个AcceptEx 还没有返回？
用WSAWaitForMultipleEvents？

[everandforever]

ACCEPTEX成功之后设置个什么标志之类的就可以了吧

[ppyy]

有必要把监听的那个套接字和完成端口关联起来吗？
我觉得没有必要。。。
只要把每个AcceptEx的套接字和完成端口关联起来就可以，

大家认为呢？

[skyupsky]

mark!

[gaosl11]

mark

[gaosl11]

哦，忘了祝你生日快乐了

[everandforever]

监听的那个套接字为什么不和完成端口关联起来呢， ACCEPTEX也是OVERLAPPED的啊，不关联你如何知道成功接受了一个连接呢？

[ppyy]

everandforever(Forever):
是要关联起来，，当时我想错了

现在我又有一个疑问，，，
比如我现在随着AcceptEx投递了一个BUFFER和BUFFER长度进去，当有客户端连接上来但是客户端没有发送数据，这时候在完成端口线程里用GetQueuedCompletionStatus能不能得到这个accept的结构？是不是要客户连接上来后并发送了数据，这样在完成端口线程里用GetQueuedCompletionStatus才能得到IO结果？

[ppchen]

everandforever(Forever):所有的套接字都关联到完成端口，这些人不懂，在这儿照书瞎说。

[everandforever]

我觉得应该是客户连接上来后并发送了数据，这样在完成端口线程里用GetQueuedCompletionStatus才能得到IO结果
_______
对

[qinlicang]

祝生日快乐

[ppyy]

我觉得应该是客户连接上来后并发送了数据，这样在完成端口线程里用GetQueuedCompletionStatus才能得到IO结果