显存充足，但是却出现CUDA error:out of memory错误可能是什么原因？

fuqifan 2019-02-20 07:14:31

如图，显存中还有6G的空余，却报错out of memory，请问各位大佬可能是什么原因？
...全文
93357 32 打赏 收藏 转发到动态 举报
写回复
用AI写文章
32 条回复
切换为时间正序
请发表友善的回复…
发表回复
yjjtdd123 2021-07-07
  • 打赏
  • 举报
 回复 1

我遇到了同样的问题，解决了，使用pycharm时候，如果是windows 可以把杀毒软件关掉，pycharm也会自动帮你配置，pycharm会在右下角提示你 windows defender限制了你的效率，跟着提示点就行，或者自己配置 或者参照 这个 https://intellij-support.jetbrains.com/hc/en-us/articles/360006298560

qq_43043851 2021-03-07
  • 打赏
  • 举报
 回复 3
首先设置显存自适应增长： import os import tensorflow as tf os.environ['CUDA_VISIBLE_DEVICES'] = '0' gpus = tf.config.experimental.list_physical_devices(device_type='GPU') for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) 然后命令 nvidia-smi 看一下什么程序占用最多显存 杀掉之后把脚本所在文件夹里头的python编译文件全部删掉 最后 重启jupyter就可以了
早起的有虫子吃 2021-10-10
  • 举报
 回复
@qq_43043851 这是pytorch
慈樂良 2021-03-01
  • 打赏
  • 举报
 回复
我也是这样，显示有4g多的free空间，却说缺2g。
vitem98 2021-01-27
  • 打赏
  • 举报
 回复
加这个参数就行了，分辨率小一点 --net_resolution 320x176
zhangsan_3 2021-01-23
  • 打赏
  • 举报
 回复
查一下gpu上运行的进程，如果没有的话，就是gpu内存泄漏了，具体的百度查一下释放gpu内存的方法。
bia?bia?? 2021-01-05
  • 打赏
  • 举报
 回复
我也出现这个问题 有大佬解释一下吗
防暴队大盾 2020-12-24
  • 打赏
  • 举报
 回复 1
检查一下是不是有loss的累加，如果有，那么一整个epoch的梯度都会常驻显存 https://pytorch.org/docs/stable/notes/faq.html
dididada~ 2020-10-13
  • 打赏
  • 举报
 回复
啊啊，我今天也是这样的错误，实时观察显存占用明明不到10%，但程序里就是报CUDA_ERROR_OUT_OF_MEMORY: out of memory
kdvl 2021-12-20
  • 举报
 回复
@dididada~ 老哥，解决了吗？
weixin_50635862 2020-09-28
  • 打赏
  • 举报
 回复 1
我的也是显示 CUDA error：out of memory
我的显卡只有一个 查看内存 还有空间 batch size 改到1了，还是不行 跪求大神解决
qq_45738415 2021-10-13
  • 举报
 回复 1
@weixin_50635862 我也是呢，解决了吗？救救孩子
Leonrdo55 2021-10-21
  • 举报
 回复 1
@qq_45738415 我也是，求救
baidu_36932346 2021-12-23
  • 举报
 回复 1
@weixin_50635862 我也是 太难受了 这要怎么改啊
1条回复
weixin_43611024 2020-09-08
  • 打赏
  • 举报
 回复
查看相应的进程 看是不是重复启动了 杀掉对应的进程重新启动 我是这样解决的
牧羊者的故事 2020-09-04
  • 打赏
  • 举报
 回复
我果断换tensorflow了
咕咕鸡N号 2020-08-10
  • 打赏
  • 举报
 回复
我也是遇到这问题，bs调成1也没解决
学渣记录 2020-07-26
  • 打赏
  • 举报
 回复
我也遇到了这个问题，batch_size为1，有什么解决方法吗
吴光庭 2021-11-15
  • 举报
 回复
@学渣记录 调成1才能跑。太难啦
爱生活爱自己爱学习 2020-06-23
  • 打赏
  • 举报
 回复
t
引用 10 楼 景唯acr 的回复:
[quote=引用 9 楼 shindoww的回复:]我的是ubuntu18.04，在pycharm-edu-2020上会有这个错误，移到终端就不会报错了。
今天跑轻量级网络，只占了10%的显存，周期性报错。代码有时能跑有时不能跑，心态已炸[/quote] 同错 有的数据集错 有的不错，有时好有时不好，不知道为啥了
景唯acr 2020-06-14
  • 打赏
  • 举报
 回复
引用 9 楼 shindoww的回复:
我的是ubuntu18.04，在pycharm-edu-2020上会有这个错误，移到终端就不会报错了。
今天跑轻量级网络，只占了10%的显存，周期性报错。代码有时能跑有时不能跑，心态已炸
shindoww 2020-06-14
  • 打赏
  • 举报
 回复
我的是ubuntu18.04，在pycharm-edu-2020上会有这个错误，移到终端就不会报错了。
是小之禺啊 2020-04-19
  • 打赏
  • 举报
 回复
我的同样报这个错误 RuntimeError: Error while calling cudaMalloc(&data, n) in file C:\Users\43196\Desktop\dlib-19.19\dlib\cuda\cuda_data_ptr.cpp:58. code: 2, reason: out of memory 任务管理器看到GPU直接100%，显存占用到2G左右，报错
Labiod 2020-04-03
  • 打赏
  • 举报
 回复
batchsize设置小一点试试
qq_39298094 2020-03-27
  • 打赏
  • 举报
 回复
我只有一张显卡，也是这样报错RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 0; 6.00 GiB total capacity; 3.32 GiB already allocated; 1.01 GiB free; 18.05 MiB cached)。怎么办呀
qq_45738415 2021-10-13
  • 举报
 回复
@qq_39298094 解决了吗？跪求
steinyeo 2022-02-06
  • 举报
 回复
@qq_39298094 求助！
cxzx 2019-11-29
  • 打赏
  • 举报
 回复
gpu_options.allow_growth = True
加载更多回复（3）
解决出现CUDA error-out of memory的问题.pdf
解决CUDA error_out of memory的问题
解决Pytorch 训练与测试时爆显存(out of memory)的问题
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if out of memory in str(exception): print(WARNING: out of memory) if hasattr(torch.cuda, 'empty_cache'):
Pytorch训练测试时如何避免显存溢出
资源下载链接为： https://pan.quark.cn/s/22ca96b7bd39 在使用 Pytorch 进行模型训练过程中，有时会遇到显存不足的情况，这通常是由于加载了过多的数据或模型结构过于庞大导致的。当出现显存不足时，如果模型不是特别庞大，可以通过一些清理技术来解决。比如使用 torch.cuda.empty_cache() 方法来释放掉一些不再需要的变量所占用的显存空间。以下是一个代码示例，用于在出现显存不足异常时进行处理： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(exception): print("WARNING: out of memory") if hasattr(torch.cuda, "empty_cache"): torch.cuda.empty_cache()
显存充足 RuntimeError: CUDA error: out of memory
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
CUDA

590

社区成员

2,925

社区内容

发帖
与我相关
我的任务
社区描述
CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。
社区管理员
  • CUDA编程社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章