import SummaryWriter 会提示 CUDA error: out of memory

guanyonglai 2019-12-24 04:34:21

本来想用一下tensorboard，但是import的时候就报错：
from torch.utils.tensorboard import SummaryWriter
仅仅是import报错，后面没有进行任何操作：
RuntimeError: CUDA error: out of memory (malloc at /pytorch/c10/cuda/CUDACachingAllocator.cpp:241)
<omitting python frames>
frame #20: THPFunction_apply(_object*, _object*) + 0x6b1 (0x7ff3f4713301 in /home/guanyonglai/anaconda3/lib/python3.7/site-packages/torch/lib/libtorch_python.so)

...全文

163 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

仅作为记录，大佬请跳过。文章目录背景解决参考原因背景博主使用linux服务器运行MIL_train.py程序时，出现RuntimeError: CUDA error: out of memory的错误（之前运行这个python木有问题）解决在MIL_train.py文件里加入： import os os.environ["CUDA_VISIBLE_DEVICES"] = '1' 即可。参考感谢大佬博主文章：传送门原因服务器的默认gpu显卡正在使用，需要使用gpu的另一个空闲的显卡；li

显卡被占用：当存在多个显卡时，默认使用 0 号显卡。即使 1 号显卡空闲，但如果 0 号显卡被占用，仍然会导致报错。在使用 PyTorch 中加载模型时，出现 CUDA 错误: out of memory。根据具体情况，采取上述解决办法中的一种或多种来解决 CUDA 错误: out of memory 问题。解决办法：可以让其他显卡不可见，从而使 0 号显卡变为空余的 1 号显卡。CUDA 显存不足：可能是因为当前显卡显存不足。解决办法：考虑更换显存更大的显卡。

最近写代码，用CUDA的时候出现了CUDA error：out of memory的错误，用nvidia-smi命令查看发现显卡并没有被占用，查了资料后才知道是调用的时候出了问题。错误示范： import os os.environ['CUDA_VISIBLE_DEVICES'] = '4' xxx CUDA:4 结果报错： RuntimeError: CUDA error: out of memory 这里乍看上去没有问题，但是这里的CUDA:4的4指的并不是物理显卡的序号，而是逻辑序号，这里只列出

当我们在使用GPU进行训练和推断时，经常会发现爆显存的问题。一开始的时候相信很多人跟我一样有个疑问，就是明明显存没占用，可是还是会爆？这里以8张卡为例，假设前面4张卡被人占用之后，还有后面4张卡是空的，如果这时候我们只是单纯的指定CUDA：0这样，那么必然会报下面这个错： RuntimeError: cuda runtime error (2) : out of memory at mmdet...

今天在用YOLOv5训练模型的时候发现报错： RuntimeError:CUDA error:out of memory 查了一下百度的方法是在Python文件（你要运行哪个就设置哪个，当然也可也通过环境变量统一设置）中手动设置调用GPU的编号 import os os.environ["CUDA_VISIBLE_DEVICES"] = '1' 结果就是可以跑起来但是根本不调用GPU，所以速度奇慢无比。（经后来分析因为我使用的云服务器只有一个卡能用，所以默认为0，设置成1应该也是在用0号）可以看.

374

社区成员

345

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章