高性能 TCP & UDP 通信框架 HP-Socket v3.3.1 正式发布

DuMiYue 2015-01-27 11:55:03
加精

　　HP-Socket 是一套通用的高性能 TCP/UDP 通信框架，包含服务端组件、客户端组件和 Agent 组件，广泛适用于各种不同应用场景的 TCP/UDP 通信系统，提供 C/C++、C#、Delphi、E（易语言）、Java、Python 等编程语言接口。HP-Socket 对通信层实现完全封装，应用程序不必关注通信层的任何细节；HP-Socket 提供基于事件通知模型的 API 接口，能非常简单高效地整合到新旧应用程序中。
　　为了让使用者能方便快速地学习和使用 HP-Socket，迅速掌握框架的设计思想和使用方法，特此精心制作了大量 Demo 示例（如：PUSH 模型示例、PULL 模型示例、性能测试示例以及其它编程语言示例）。HP-Socket 目前运行在 Windows 平台，将来会实现跨平台支持。

* HP-Socket 官方网站：http://www.jessma.org
* HP-Socket 下载地址：http://www.oschina.net/p/hp-socket
------------------------------------------------------------------------------------------------
【通用性】
　　1、HP-Socket 的唯一职责就是接收和发送字节流，不参与应用程序的协议解析等工作。
　　2、HP-Socket 与应用程序通过接口进行交互，并完全解耦。任何应用只要实现了 HP-Socket 的接口规范都可以无缝整合 HP-Socket。

【易用性】
　　1、易用性对所有通用框架都是至关重要的，如果太难用还不如自己重头写一个来得方便。因此，HP-Socket 的接口设计得非常简单和统一。
　　2、HP-Socket 完全封装了所有底层通信细节，应用程序不必也不能干预底层通信操作。通信连接被抽象为 Connection ID，Connection ID 作为连接的唯一标识提供给应用程序来处理不同的连接。

【高性能】
　　HP-Socket 作为底层的通用框架，性能是关键指标，绝对不能成为系统的瓶颈。HP-Socket 在设计上充分考虑性能、使用场景、复杂性和易用性等因素，作出以下几点设计决策：
　　Client 组件：基于 Event Select 通信模型，在单独线程中执行通信操作，避免与主线程或其他线程相互干扰。每个组件对象管理一个 Socket 连接。
　　Server 组件：基于 IOCP 通信模型，并结合缓存池、私有堆（Private Heap）等技术，支持超大规模连接，在高并发场景下实现高效内存管理。
　　Agent 组件：对于代理服务器或中转服务器等应用场景，服务器自身也作为客户端向其它服务器发起大规模连接，一个 Agent 组件对象同时可管理多个 Socket 连接；Agent 组件与 Server 组件采用相同的技术架构，可以用作代理服务器或中转服务器的客户端部件。

【伸缩性】
　　应用程序能够根据不同的容量要求、通信规模和资源状况等现实场景调整 HP-Socket 的各项性能参数（如：工作线程的数量、缓存池的大小、发送模式和接收模式等），优化资源配置，在满足应用需求的同时不必过度浪费资源。
------------------------------------------------------------------------------------------------

*** v3.3.1 更新 ***

> 组件接口调整：
-----------------
1、IClientListener 监听器接口用 IClient* 参数取代 CONNID 参数标识 Client 组件对象
2、增加 IPullClient 接口，用作 PULL Client 组件的基接口
3、IPullSocket 和 IPullClient 接口增加 Peek() 方法用于窥探缓冲区数据（不会移除缓冲区数据）
4、增加 IComplexSocketListener 监听器接口，用作 Server/Agent 组件的监听器基接口
5、IComplexSocketListener 提供 OnShutdown 通知方法取代 Server/Agent 组件原来的 OnServerShutdown/OnAgentShutdown
6、IClient组件增加 Get/SetExtra() 方法用于保存自定义附加数据
7、IServer 和 IAgent 组件增加“静默连接处理”相关方法：


1) DisconnectSilenceConnections()：// 断开超过指定时长的静默连接  

2) GetSilencePeriod()：// 获取某个连接静默时间（毫秒）  

3) SetMarkSilence()：// 设置是否标记静默时间  

4) IsMarkSilence()：// 检测是否标记静默时间
> 增加 UdpCast 通信组件：
-----------------
1、UdpClient / UdpServer 用于 C/S 模式的点对点单播通信，但在某些应用场景下，需要用到组播或广播通信
2、UdpCast 实现了组播或广播通信，UdpCast 提供 IUdpCast 接口，该接口继承自 IClient，有以下接口方法：


/* 1) 通知接口方法： */  

  OnPrepareConnect(IClient* pClient, SOCKET socket)  

  OnConnect(IClient* pClient)  

  OnSend(IClient* pClient, const BYTE* pData, int iLength)  

  OnReceive(IClient* pClient, const BYTE* pData, int iLength)  

  OnClose(IClient* pClient)  

  OnError(IClient* pClient, EnSocketOperation enOperation, int iErrorCode)  

  

/* 2) 主要操作方法： */  

  Start(LPCTSTR pszBindAddress = nullptr, BOOL bAsyncConnect = TRUE /*该参数被忽略*/)  

  Stop()  

  Connect(LPCTSTR pszRemoteAddress, USHORT usPort, CONNID* pdwConnID = nullptr)  

  Send(CONNID dwConnID, const BYTE* pBuffer, int iLength, int iOffset = 0)  

  SendPackets(const WSABUF pBuffers[], int iCount)
3、增加 UdpCast 使用示例：TestUDPCast

------------------------------------------------------------------------------------------------

*** v3.2.3 更新 ***

> common-src 优化：
-----------------
1、优化通信组件的同步机制
2、整体性能提升约 10%
------------------------------------------------------------------------------------------------

*** v3.2.2 更新 ***

> 增加若干帮助方法：
-----------------
1、批量发送方法 SendPackets()


1) IClient/IServer/IAgent 增加方法 SendPackets(pBuffers[], iBufferCount)

2) 对于 TCP 组件 - 顺序发送所有数据包

3) 对于 UDP 组件 - 把所有数据包组合成一个数据包发送（总长度不能大于 UDP 包最大长度）
2、小文件发送方法 SendSmallFile() 


1) TCP 组件增加方法 SendSmallFile(lpszFileName, pHead, pTail)

2) 通过 pHead 和 pTail 参数，可以分别在文件数据的头部和尾部加入自定义数据

3) SendSmallFile() 只能发送 4096 KB 以内大小的文件
3、HPSocket.dll 和 HPSocket4C.dll 增加以下导出方法


1) SYS_WSAGetLastError()：调用系统的 WSAGetLastError()

2) SYS_SetSocketOption()：调用系统的 setsockopt()

3) SYS_GetSocketOption()：调用系统的 getsockopt()

4) SYS_IoctlSocket()	：调用系统的 ioctlsocket()

5) SYS_WSAIoctl()	   ：调用系统的 WSAIoctl()
------------------------------------------------------------------------------------------------

*** v3.2.1 更新 ***

> 增加 TcpAgent / TcpPullAgent 通信组件：
-----------------
1、对于代理服务器或中转服务器等应用场景，服务器自身也作为客户端向其它服务器发起大规模连接
2、TcpClient / TcpPullClient 基于 Event Select 通信模型，每个组件对象管理一个 Socket，并开启一个线程，不适合上述应用场景
3、TcpAgent / TcpPullAgent 基于 IOCP 通信模型，一个组件对象管理多个 Socket，适合用作代理服务器或中转服务器的客户端通信组件
4、TcpAgent / TcpPullAgent 的使用方式依然简单，提供以下接口方法：


/* 1) 通知接口方法：*/

OnPrepareConnect(CONNID dwConnID, SOCKET socket)

OnConnect(CONNID dwConnID)

OnSend(CONNID dwConnID, const BYTE* pData, int iLength)

OnReceive(CONNID dwConnID, const BYTE* pData, int iLength)	 //（Push 模型）

OnReceive(CONNID dwConnID, int iLength)						//（Pull 模型）

OnClose(CONNID dwConnID)

OnError(CONNID dwConnID, EnSocketOperation enOperation, int iErrorCode)

OnAgentShutdown()



/* 2) 主要操作方法：*/

Start(LPCTSTR pszBindAddress = nullptr, BOOL bAsyncConnect = TRUE)

Stop()

Connect(LPCTSTR pszRemoteAddress, USHORT usPort, CONNID* pdwConnID = nullptr)

Send(CONNID dwConnID, const BYTE* pBuffer, int iLength, int iOffset = 0)

Disconnect(CONNID dwConnID, BOOL bForce = TRUE)

Fetch(CONNID dwConnID, BYTE* pData, int iLength)	//（Pull 模型）
5、增加 TcpAgent / TcpPullAgent 使用示例：
* Agent-PFM
* Agent-Pull
* Agent-4C

6、增加 TcpAgent + TcpServer 实现的 HTTP 代理服务器示例：HttpProxy


> 增加 HPSocket for Java SDK：
-----------------
1、提供 Java 开发包：hpsocket-3.2.1.jar（通过 JNA 实现，目前只支持 Windows 平台）
2、运行环境：JDK 1.6+，JVM 运行在 server 模式（"java -server"，在 client 模式下性能受影响）
3、MBCS 和 Unicode 版本分布位于包 org.jessma.hpsocket.mbcs 和 org.jessma.hpsocket.unicode
4、HPSocket for Java SDK 提供以下通信组件：


1) TcpServer：TCP 通信服务端组件，支持 PUSH/PULL 模型

2) TcpClient：TCP 通信客户端组件，支持 PUSH/PULL 模型

3) TcpAgent ：TCP 通信 Agent 组件，支持 PUSH/PULL 模型

4) UdpServer：UDP 通信服务端组件，支持 PUSH 模型

5) UdpClient：UDP 通信客户端组件，支持 PUSH 模型
5、HPSocket4J 的使用方法（以 TcpAgent 为例）：


/* 0: 应用程序加入 hpsocket-3.2.1.jar 和 jna-4.1.0.jar */



/* 1: 创建通信组件对象 */

TcpAgent agent = TcpAgent.create(Mode.PUSH);



/* 2: 设置回调函数对象 */

// （可选）

agent.setCallBackOnPrepareConnect(new OnPrepareConnectImpl());

// （可选）

agent.setCallBackOnConnect(new OnConnectImpl());

// （必须）PUSH 模型需要设置 OnReceive 回调函数对象

agent.setCallBackOnReceive(new OnReceiveImpl());

// （必须）PULL 模型需要设置 OnPullReceive 回调函数对象

// agent.setCallBackOnPullReceive(new OnPullReceiveImpl());

// （可选）

agent.setCallBackOnSend(new OnSendImpl());

// （必须）

agent.setCallBackOnClose(new OnCloseImpl());

// （必须）

agent.setCallBackOnError(new OnErrorImpl());

// （可选）

agent.setCallBackOnAgentShutdown(new OnAgentShutdownImpl());



/* 3：启动通信组件 */

agent.start("127.0.0.1", false);



/* 4：连接服务器 */

agent.connect("localhost", (short)5555, pdwConnID);



/* 5：处理通信数据 */

// 响应 OnReceive / OnPullReceive 事件接收数据

// 使用 agent.send(dwConnID, data, data.length) 发送数据



/* 6：关闭通信组件 */

agent.stop();



/* 7：销毁通信组件 */

TcpAgent.destroy(agent);
6、增加示例工程 TestEcho-4J，展示 HPSocket4J 的使用方法（包括 PULL 模型示例和性能测试示例）


> 优化数据收发策略：
-----------------
1、Server 和 Agent 组件提供以下三种数据发送策略：


1）PACK - 打包模式（默认）：尽量把多个发送操作的数据组合在一起发送，增加传输效率

2）SAFE - 安全模式：尽量把多个发送操作的数据组合在一起发送，并控制传输速度，避免缓冲区溢出

3）DIRECT - 直接模式：对每一个发送操作都直接投递，适用于负载不高但要求实时性较高的场合
2、Server 和 Agent 组件提供以下两种数据接收策略：


1）SERIAL - 串行模式（默认）：顺序触发同一连接的 OnReceive 和 OnClose/OnError 事件

2）PARALLEL - 并行模式：在不同的通信线程中同时触发同一连接的 OnReceive 和 OnClose/OnError 事件
------------------------------------------------------------------------------------------------
...全文
5080 90 打赏 收藏 转发到动态 举报
写回复
用AI写文章
90 条回复
切换为时间正序
请发表友善的回复…
发表回复
ssxgs 2016-04-09
  • 打赏
  • 举报
 回复
最新更新：高性能 TCP & UDP 通信框架 HP-Socket v3.4.1 正式发布 http://bbs.csdn.net/topics/391930191
色郎中 2016-02-16
  • 打赏
  • 举报
 回复
引用 87 楼 DuMiYue 的回复:
[quote=引用 86 楼 u010374185 的回复:]
有Qt调用Demo吗？

QT 也是一样用！！！[/quote]

楼主，可以考虑到网易弄个公开课呀，专门介绍网络编程嘛，从0开始把你这个开源项目讲解一下，再出参考书，有了用户基础，考虑商用版本

公开课课，就算一个人收费100，以万计，一套公开课估计也能卖百万元计，配套教材也能赚不少，

参考嵌入式方向，韦东山，就是在网易开的公开课，免费上课，估计是通过卖开发板和书，补贴劳动付出

cc___999 2015-04-16
  • 打赏
  • 举报
 回复
感谢分享 吾来学习一下 哈哈哈
DuMiYue 2015-02-11
  • 打赏
  • 举报
 回复
引用 86 楼 u010374185 的回复:
有Qt调用Demo吗？
QT 也是一样用！！！
haoljp 2015-02-08
  • 打赏
  • 举报
 回复
有Qt调用Demo吗？
JayTan_1992 2015-02-06
  • 打赏
  • 举报
 回复
DuMiYue 2015-02-05
  • 打赏
  • 举报
 回复
引用 83 楼 spark_li 的回复:
谁能高速一下那个httpproxy的demo那里有啊，谢谢了
https://github.com/ldcsaa/HP-Socket 下载 zip，搜索文件夹~
spark_li 2015-02-04
  • 打赏
  • 举报
 回复
谁能高速一下那个httpproxy的demo那里有啊，谢谢了
spark_li 2015-02-04
  • 打赏
  • 举报
 回复
晕倒了，找了半天，demo找不到
来人哥哥 2015-02-03
  • 打赏
  • 举报
 回复
我能弱弱的问一句，这个是什么东西，要来干什么的吗？ 大四狗的疑惑，难道我不适合从事这一行？
我是黑手 2015-02-03
  • 打赏
  • 举报
 回复
感觉很牛掰的样子，厉害！
翅膀又硬了 2015-02-02
  • 打赏
  • 举报
 回复
引用 74 楼 jordancar 的回复:
引用 44 楼 Joyhen 的回复:
[quote=引用 19 楼 wgodo 的回复:] 我的软件用的就是HPsocket， 已经安装在30万终端上，日活跃20万，该库十分稳定，从未出错，我是做网吧软件的，2000多家网吧使用（还不包括破解用户）。
牛B了，码农求带
你安装在30万终端又不是30万并发，这不值得炫耀，一个网吧有多少台机器？上千台算多了吧，随便写个不就够用了？[/quote]这么大的用户量，肯定应该自己写一个，不应该用不开源库。
伊顺鸣 2015-02-02
  • 打赏
  • 举报
 回复
自己来看看吧
Sunny5816 2015-02-01
  • 打赏
  • 举报
 回复
来自英国剑桥的通讯框架networkcomms 非常的简单优美， www.networkcomms.net 支持跨平台开发， 版本2.3.1是开源的，大家可以去我的博客看看基于networkcomms开发的demo源码. http://www.cnblogs.com/networkcomms
john_QQ:2335298917 2015-01-31
  • 打赏
  • 举报
 回复
很好，很强大，感谢楼主分享
此后三年 2015-01-30
  • 打赏
  • 举报
 回复
感谢楼主分享
小布 2015-01-30
  • 打赏
  • 举报
 回复
引用 44 楼 Joyhen 的回复:
引用 19 楼 wgodo 的回复:
我的软件用的就是HPsocket， 已经安装在30万终端上，日活跃20万，该库十分稳定，从未出错，我是做网吧软件的，2000多家网吧使用（还不包括破解用户）。
牛B了，码农求带
你安装在30万终端又不是30万并发，这不值得炫耀，一个网吧有多少台机器？上千台算多了吧，随便写个不就够用了？
fywindy 2015-01-29
  • 打赏
  • 举报
 回复
太牛逼了，我很喜欢呀
qnapjiujiu 2015-01-29
  • 打赏
  • 举报
 回复
谢谢楼主分享！
S756975 2015-01-29
  • 打赏
  • 举报
 回复
期待跨平台的版本。。顶一个
加载更多回复（62）
【基于MFC的Socket编程】基于TCP协议服务器客户端通信程序_实验报告
2.2 TCP和UDP协议结构的区别 7 2.3 TCP和UDP编程步骤的区别 8 三、设计内容 10 3.1开发环境 10 3.2程序流程图 10 3.3功能模块 12 3.3.1客户端程序设计 12 3.3.2服务器端程序设计 17 3.4数流图 22 3.5关键的数据结构 ...
Linux高性能服务器编程
内容简介《Linux高性能服务器编程》是Linux服务器编程领域的经典著作，由资深Linux软件开发工程师撰写，从网络协议、服务器编程核心要素、原理机制、工具框架等多角度全面阐释了编写高性能Linux服务器应用的方法、...
SpringBoot+Vue-Vben-Admin中台&后台前后端完整
认证和授权框架MyBatisPlus3.3.1  基于 MyBatis 框架的快速研发框架MyBatisCode工具 生成 MyBatis 相关代码Jackson 提供了处理 JSON 数据的工具Lombok 简化...
Linux网络编程.pdf socket tcp udp
3.3.1 进程标识符 ............................................................................................38 3.3.2 进程的组标识符 ....................................................................
精通Windows Sockets网络开发：基于Visual C++实现-带源码
3.3.1ip定址 3.3.2字节顺序问题 3.4基本tcp套接字编程 3.4.1wsastartup（）函数 3.4.2socket（）函数 3.4.3bind（）函数 3.4.4listen（）函数 3.4.5accept（）函数 3.4.6recv（）函数 3.4.7send（）函数 3.4.8close...
网络编程

18,356

社区成员

64,214

社区内容

发帖
与我相关
我的任务
社区描述
VC/MFC 网络编程
c++c语言开发语言 技术论坛（原bbs）
社区管理员
  • 网络编程
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章