求助|关于Rabit分布式通信框架的使用

prettysky123 2018-12-16 11:10:04

陈天奇开发的rabit，Rabit实现Allreduce和Broadcast的API，想问一下有人用过吗。最近写程序需要实现集群中不同节点之间的通信，希望，可以得到大家的建议，谢谢大家

...全文

194 4 打赏收藏转发到动态举报

写回复

用AI写文章

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

prettysky123 2020-03-12

打赏
举报

哈哈哈，大家可以多交流呀

coder121 2019-10-14

打赏
举报

难得碰到做分布式深度学习的同学啊！

prettysky123 2019-09-20

打赏
举报

我是做表示学习方向的，去年研究过一段时间rabit，摸索着安装成功之后，后来发现rabit框架和我的研究内容不太相符，后来开始自己动手写分布式框架就没有再用过rabit了。rabit安装相关的流程我写过一篇博文，就在我的主页。以后有问题可以一起交流呀：）

weixin_42459354 2019-09-17

打赏
举报

楼主，您好不知道你的问题解决了没有，最近我也在用xgboost进行分布式集群研究，rabit主要是从MPI的接口抽象出来，实际上的通信机制还是MPI，在xgboost中已经嵌入了rabit的接口，可以直接使用xgb.rabit进行使用，不久前又看到有人使用slurm进行集群调度实现分布式计算，目前我还仅仅是初识了一些分布式和集群的知识。如果楼主的问题已经解决，希望楼主可以写一些博客分享出来。