IOCP + OpenSSL 搭建 HTTPS 服务器的问题

[Sandrer]

OpenSSL 版本为 1.1, IOCP 框架早就已经搭建好了, 现在只是将 OpenSSL 集成进去
握手完成后, 客户端通过 WinHTTP 发送了一个 POST 请求过来, 请求 head + body 总共 10 多 kb (head 的内容只有几百字节)
IOCP 框架中每个 tcp 数据包的大小限制为 1024 kb, 每次收到数据包后用 BIO_write 写入到 SSL
SSL_read 将解码后的数据读出, 对于请求的 head 都能成功解码并读出
但到了解码 body 时就出问题了, 每个 tcp 数据包写入后, SSL_read 一直返回 WANT_READ 错误
直到最后一个数据包到来并写入后, SSL_read 才成功读出 1024 个字节(因为我限制每次只读 1024 个字节)
使用 BIO_eof 是否读取完毕, 返回 1, 即已读完了
那么 body 后面的数据去哪了??????

注: SSL 中并没有绑定 SOCKET 的, SOCKET 的状态由 IOCP 去管理, SSL 只负责编码及解码

[xian_wwq]

1。定长不是个好办法
大多数应用，都是包头+数据，在包头中携带数据长度，接收端根据数据长度
来实现“粘包”处理。
因为tcp是基于流的，所以想每次保证都接收到1024字节是种理想状态

2。数据接收和数据解析要分离，否则在大压力下，
会出现网络带宽占用低，但是接收超时的情况

3。没有看到后续读投递的代码

[Sandrer]

引用 2 楼 xian_wwq 的回复:

客户端是浏览器或其它不可控数据流, 你无法定义包头

[Sandrer]

引用 2 楼 xian_wwq 的回复:

对于 BIO_write 来说, 无论数据包是否粘包, BIO 内部已经帮我们解决了
我只关心 SSL_read 是否成功读出数据, 能读出数据的前提, 是 SSL 已成功解密一个 frame

[xian_wwq]

引用 3 楼 Sandrer 的回复:

客户端是浏览器或其它不可控数据流, 你无法定义包头

是的，刚才没有考虑到这一点
lz可以参考下 HP-Socket v5.4.1

[Sandrer]

问题解决了, 参考的是另外一个帖子 https://bbs.csdn.net/topics/380158884
我把 SSL_read 时判断是否读完, 不用 BIO_eof 了, 直接循环调用 SSL_read 直到出错为止

[Sandrer]

BOOL CHTTPServer::OnReceived(sandrer::CIocpBufferImpl *pBuffer, sandrer::IOCPCTX pContext)
{
    CTX_Lock(pContext);

    iocp_trace("Context [0x%p] enter SSL received, buffer [0x%p](index %d).", pContext, pBuffer, pBuffer->GetIndex());

    SSLDATA *p_session = (SSLDATA *)CTX_GetUserData(pContext);
    if (p_session == NULL)
    {
        CTX_Unlock(pContext);
        return FALSE;
    }

    //ERR_clear_error();

    BOOL bHandshaked = FALSE;
    int nBuffSize = (int)pBuffer->GetSize();
    int nTransBytes = (int)pBuffer->GetUsed();
    PBYTE pTransData = pBuffer->GetBuffer();

    char ip[16];
    UINT port = CTX_GetRemoteIP(pContext, ip);
    iocp_trace("received %d bytes from %s:%u", nTransBytes, ip, port);

    // 将加密数据写入 BIO 中
    int nSSLBytes = BIO_write(p_session->bio_recv, pTransData, nTransBytes);
    if (nSSLBytes != nTransBytes)
    {
        int nSSLError = SSL_get_error(p_session->ssl, nSSLBytes);
        iocp_trace("BIO_write error %d when we received data.", nSSLError);
        if (!BIO_should_retry(p_session->bio_recv))
        {
            CTX_Unlock(pContext);
            DisconnectClient(pContext);
            return FALSE;
        }
    }

    // 尝试从 BIO 中取出解密数据, 如果出错则表示数据未完整需要等待下次获取
    int i = 0;
    for (;;)
    {
        nSSLBytes = SSL_read(p_session->ssl, pTransData, nBuffSize - 1);
        iocp_trace("Context [0x%p] SSL_read %d times %d bytes", pContext, ++i, nSSLBytes);
        // 判断一下握手操作是否已完成
        if (!p_session->is_handshake && SSL_is_init_finished(p_session->ssl))
        {
            iocp_trace("handshake finish with %s:%u", ip, port);
            bHandshaked = TRUE;
        }

        if (nSSLBytes > 0)
        {
            #pragma message("接收到非握手数据, 交给上层处理")
            pTransData[nSSLBytes] = 0;
            printf("%d bytes non-handshake data from %s:%u:\n%s\n", nSSLBytes, ip, port, (LPCSTR)pTransData);

            // 判断是否读完
            if (!BIO_eof(p_session->bio_recv))
                continue;
        }
        else if (__sslFailed(p_session->ssl, nSSLBytes))
        {
            CTX_Unlock(pContext);
            DisconnectClient(pContext);
            return FALSE;
        }
        else
        {
            iocp_trace("Context [0x%p] SSL_read result %d", pContext, nSSLBytes);
        }

        break;
    }

    // 与客户端的握手操作未完成, 需要从 BIO 中尝试取得握手回复消息发送给对方
    if (!p_session->is_handshake)
    {
        i = 0;
        p_session->is_handshake = bHandshaked;

        // 循环读取直到读完
        for (;;)
        {
            nSSLBytes = BIO_read(p_session->bio_send, pTransData, nBuffSize);
            iocp_trace("Context [0x%p] BIO_read %d times %d bytes", pContext, ++i, nSSLBytes);
            if (nSSLBytes > 0)
            {
                pBuffer->SetUsed(nSSLBytes);
                CIocpModel::SendData(pBuffer, pContext);
                if (BIO_eof(p_session->bio_send))
                {
                    CTX_Unlock(pContext);
                    return TRUE;
                }

                pBuffer = AllocateBuffer(sandrer::IOCPBP_WRITETCP, TRUE);
                if (pBuffer == NULL)
                {
                    CTX_Unlock(pContext);
                    DisconnectClient(pContext);
                    return TRUE;
                }

                pTransData = pBuffer->GetBuffer();
                nBuffSize = (int)pBuffer->GetSize();

                continue;
            }
            else if (__sslFailed(p_session->ssl, nSSLBytes))
            {
                CTX_Unlock(pContext);
                DisconnectClient(pContext);
                return FALSE;
            }

            break;
        }
    }

    CTX_Unlock(pContext);

    return FALSE;
}

这是数据接收的处理