mac下使用pytorch报错无法从torch.distributed导入get_rank

hi_coding 2019-01-11 10:38:06

使用的opennmt的代码：https://github.com/OpenNMT/OpenNMT-py
mac os 10.14
python3.7 torch-1.0.0 torchvision-0.2.1
运行preprocess.py报错：

...全文

885 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

endeavorcyh 2021-01-25

打赏
举报

回复

请问怎么解决啊，我在windows下也遇到了！！！求问啊

north_horse 2019-04-06

打赏
举报

回复

您好，请问您的问题解决了吗？我也遇到了跟您相似的问题，不过是在Windows环境下，如果解决了希望您能回答我，谢谢🙏

Xueli_Xie 2019-03-20

打赏
举报

回复

1.0的bug

hi_coding 2019-01-11

打赏
举报

回复

是不是对我的电脑的gpu有要求？关于分布式，gpu没有搞清楚。希望大神可以指引一下方向，谢谢！

hi_coding 2019-01-11

打赏
举报

回复

我同样在ubuntu下安装了（python3.5）一切顺利，运行正常

本文介绍一个轻量、鲁棒、生产就绪的PyTorch训练封装Wrapper，聚焦屏蔽胶水代码、提升研发效率。核心涵盖Trainer类设计、混合精度（AMP）鲁棒性加固、DDP分布式训练陷阱规避、检查点原子性与版本兼容机制，并支持梯度累积、torch.compile加速、自定义Metric及TorchScript/ONNX导出。强调四层责任分离架构与显式设备管理原则，适用于工业级模型快速迭代与团队协同。

本文详解如何使用Hugging Face Accelerate库实现稳定、可复现的PyTorch多卡分布式训练。内容涵盖Accelerate相比原生DDP和FSDP的核心优势，Prepare机制的四大抽象（设备映射、混合精度注入、梯度同步控制、检查点生命周期管理），以及生产级实操：环境避坑、最小可运行脚本、三种启动方式（accelerate launch/直接调用/Slurm）、混合精度（bf16/fp16）、梯度累积与模型并行支持，并提供多卡调试黄金法则与典型错误排查指南。

本文深入解析nanoGPT项目——一个仅用500行纯PyTorch代码实现GPT训练与推理的极简教学框架。重点涵盖字符级数据预处理（prepare.py）、因果注意力与残差结构的模型实现、基于torch.compile的高效训练循环（train.py），以及自回归文本生成逻辑（sample.py）。强调其教学设计哲学：可追踪的数据流、确定性初始化、零拷贝内存映射、余弦学习率调度与轻量配置管理，适用于深度学习初学者理解大模型底层原理。

本文系统总结PyTorch新手必须遵守的7条核心工程实践：设备统一管理、五源随机性控制、DataLoader性能调优、模型结构+参数安全保存、train/eval模式严格切换、结构化日志监控、模块化代码分层。每条均含原理、错误后果与实操检查点，并覆盖CUDA OOM、loss不降、多卡DDP等高频问题排查方法，聚焦从‘能跑’到‘稳跑’‘可复现’的工业级落地。

本文系统梳理Qwen3-ASR-1.7B在真实生产环境部署中的三大核心雷区：环境依赖冲突（特别是torchaudio重采样精度缺陷与CUDA/PyTorch版本兼容性）、Docker镜像构建与推理时的显存带宽瓶颈及内存泄漏、以及音频预处理链路脆弱性（SNR敏感、采样率漂移、流式切分失准）。涵盖Conda隔离、Sinc重采样修复、HF权重离线获取、batch size显存优化、VAD增强、FFT熔断、GPU降级、OpenTelemetry追踪和Prometheus监控等关键技术实践。

37,738

社区成员

34,211

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章