mac下使用pytorch报错无法从torch.distributed导入get_rank

hi_coding 2019-01-11 10:38:06

使用的opennmt的代码：https://github.com/OpenNMT/OpenNMT-py
mac os 10.14
python3.7 torch-1.0.0 torchvision-0.2.1
运行preprocess.py报错：

...全文

812 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

endeavorcyh 2021-01-25

打赏
举报

回复

请问怎么解决啊，我在windows下也遇到了！！！求问啊

north_horse 2019-04-06

打赏
举报

回复

您好，请问您的问题解决了吗？我也遇到了跟您相似的问题，不过是在Windows环境下，如果解决了希望您能回答我，谢谢🙏

Xueli_Xie 2019-03-20

打赏
举报

回复

1.0的bug

hi_coding 2019-01-11

打赏
举报

回复

是不是对我的电脑的gpu有要求？关于分布式，gpu没有搞清楚。希望大神可以指引一下方向，谢谢！

hi_coding 2019-01-11

打赏
举报

回复

我同样在ubuntu下安装了（python3.5）一切顺利，运行正常

基于pytorch的单机多卡分布式训练源码，已经测试可用，找了很多资料，这个可以完美适用于单机多卡的训练。注意，是非常完美地适用于单机多卡的训练！！！

pytorch_multi_gpu 如何在Pytorch中使用Multi GPU？非常简化的源代码帖子：：

PyTorch 是一个开源的机器学习库，广泛用于计算机视觉和自然语言处理等应用中的深度学习研究和生产。它由 Facebook 的人工智能研究团队开发，并且得到了许多研究机构和企业的支持。以下是 PyTorch 的一些主要特点： 1. **动态计算图（Dynamic Computation Graph）**：PyTorch 允许在运行时动态地构建计算图，这使得调试和实验更加灵活和直观。 2. **自动微分**：PyTorch 提供了自动微分功能，可以自动计算导数，这对于训练神经网络至关重要。 3. **强大的GPU加速**：PyTorch 支持在 NVIDIA CUDA 上进行高效的计算，使得在 GPU 上运行深度学习模型变得非常快速。 4. **丰富的库和工具**：PyTorch 提供了大量的预训练模型和工具，如 TorchVision（用于处理图像和视频的库）和 TorchText（用于处理文本的库）。 5. **社区支持**：PyTorch 拥有一个活跃的开发者社区，提供大量的教程、文档和论坛支持。 PyTorch 的主要竞争对手是 TensorFlow，另一个流行的深度学

torch.distributed.all_gather() 官网链接tensor_list每个元素代表每个rank的数据，tensor代表每个进程中的tensor数据，其中tensor_list每个分量的维度要与对应的tensor参数中每个rank的维度相同。

1、torch.distributed.get_world_size() 2、torch.distributed.all_gather() 3、torch.distributed.barrier() 4、torch.distributed.get_rank()

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章