mac下使用pytorch报错无法从torch.distributed导入get_rank

hi_coding 2019-01-11 10:38:06

使用的opennmt的代码：https://github.com/OpenNMT/OpenNMT-py
mac os 10.14
python3.7 torch-1.0.0 torchvision-0.2.1
运行preprocess.py报错：

...全文

906 5 打赏收藏举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

endeavorcyh 2021-01-25

打赏
举报

回复

请问怎么解决啊，我在windows下也遇到了！！！求问啊

north_horse 2019-04-06

打赏
举报

回复

您好，请问您的问题解决了吗？我也遇到了跟您相似的问题，不过是在Windows环境下，如果解决了希望您能回答我，谢谢🙏

Xueli_Xie 2019-03-20

打赏
举报

回复

1.0的bug

hi_coding 2019-01-11

打赏
举报

回复

是不是对我的电脑的gpu有要求？关于分布式，gpu没有搞清楚。希望大神可以指引一下方向，谢谢！

hi_coding 2019-01-11

打赏
举报

回复

我同样在ubuntu下安装了（python3.5）一切顺利，运行正常

本文介绍一个轻量、鲁棒、生产就绪的PyTorch训练封装Wrapper，聚焦屏蔽胶水代码、提升研发效率。核心涵盖Trainer类设计、混合精度（AMP）鲁棒性加固、DDP分布式训练陷阱规避、检查点原子性与版本兼容机制，并支持梯度累积、torch.compile加速、自定义Metric及TorchScript/ONNX导出。强调四层责任分离架构与显式设备管理原则，适用于工业级模型快速迭代与团队协同。

本文详解如何使用Hugging Face Accelerate库实现稳定、可复现的PyTorch多卡分布式训练。内容涵盖Accelerate相比原生DDP和FSDP的核心优势，Prepare机制的四大抽象（设备映射、混合精度注入、梯度同步控制、检查点生命周期管理），以及生产级实操：环境避坑、最小可运行脚本、三种启动方式（accelerate launch/直接调用/Slurm）、混合精度（bf16/fp16）、梯度累积与模型并行支持，并提供多卡调试黄金法则与典型错误排查指南。

本文详解TorchAir在昇腾NPU上启用GE图模式的核心流程，涵盖torch.compile与max-autotune集成、CompilerConfig九大类功能配置、FX图到Ascend IR的转换机制、图结构dump与run-eagerly调试方法，并强调NPU设备迁移、patch_for_hcom适配及配置兼容性检查等关键实践要点。

本文系统解析PyTorch Lightning中TPU训练的四大高频问题：后台Python进程占用TPU的清理方法、XLA replication失败的根因与规避（禁止在spawn外调用xla_device）、非Tensor数据迁移导致的报错及纯Tensor数据结构建议、以及通过xla_debug策略生成XLA指标报告定位context switch性能瓶颈。内容覆盖环境排查、API误用规避、算子下放诊断及源码级原理说明，适用于Lightning+TPU实验性训练场景。

本文系统讲解PyTorch中CUDA GPU加速的完整技术链路：涵盖NVIDIA驱动与PyTorch兼容性配置、张量与模型的GPU迁移、DataParallel与DistributedDataParallel多GPU训练、显存监控（nvidia-smi/PyTorch内置API）、OOM优化策略（梯度检查点、混合精度训练AMP）、CUDA异步执行与同步机制、CPU-GPU数据传输优化，以及生产环境容器化部署与性能剖析。内容聚焦深度学习工程实践中的关键信息技术环节。

37,737

社区成员

34,208

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章