如何利用电脑中--共享GPU内存--运行python程序

gentlemanQ 2020-10-06 10:59:44

最近实验室的服务器一直崩溃，无奈只好在自己的笔记本中搭建环境训练神经网络，无奈自己的笔记本过于陈旧，显存太低，训练神经网络总是出现out of memory。看到系统还有“共享GPU内存”，想问一下各位大神，python程序如何调用这个“共享GPU 内存”，“专用GPU内存”大小是否可以更改？如何更改？非常感谢！！！

...全文

4421 8 打赏收藏转发到动态举报

写回复

8 条回复

切换为时间正序

请发表友善的回复…

发表回复

bjfu_yang 2021-11-26

打赏
举报

回复

求助

计算机CV民工 2021-07-09

打赏
举报

回复

请问解决了吗

weixin_43867650 2021-03-07

打赏
举报

回复

请问题主解决了吗？

gentlemanQ 2021-02-27

打赏
举报

回复

这个问题还没有解决

dinggelongdongqiang 2021-01-16

打赏
举报

回复

您好，请问解决这个问题了吗？

gentlemanQ 2020-12-23

打赏
举报

回复

引用 1 楼 mucolormu 的回复:

同问，请问题主解决了吗？

这个问题没有解决

计算机CV民工 2021-07-09

举报

回复

@gentlemanQ 现在解决了调用共享GPU吗

每天进步一点点daydayup 2020-12-07

打赏
举报

回复

同问，请问题主解决了吗？

不错的基础知识介绍，格式是pdf,同济大学的课件

深度学习训练时当显存不够时是否会调用共享GPU内存进行训练？问题来源：在用pycharm做一个模型训练时，想着能否同时再跑一个模型进行训练，但是发现显存已经不足1G了，于是就产生了上述的问题，在显存已然不足情况下能否通过占用共享GPU内存再对第二个深度学习模型进行训练？测试 1、单个神经网络进行训练于是做了如下的测试，下图是仅仅训练单个神经网络时的GPU内存占用大小，目前显存占用10.2，共享GPU内存占用0.1 2、两个神经网络同时训练在此基础上我又开始训练了第二个网络，但这个网络层数很少，

然而不幸的是，在使用了这种方式运行后，其虽然相当于扩充了显存，能够保证模型正常运行，但这也会造成运行速度大大减慢，博主在自己的程序上进行测试，速度差了十倍不止。当然本身使用自己的笔记本完成所有实验也不太现实，因此这个方法能够帮助我们在本地调试程序就已经很不错了。

众所周知，GPU本身的计算能力是越来越强大，特别是新一代的NVIDIA AMPERE架构发布之后，又一次刷新了大家对AI算力的认知。目前，确实有不少大规模分布式训练对更大算力的渴求是极其强烈的，比如语音、自然语言处理等。但是，我们也不可否认还有非常多的应用场景对算力的需求不大，比如： AI推理场景，基本都是在线实时计算，要求延时低，batchsize小，计算量不大。 AI开发机场景，团队内部共享GPU，对算力要求低。这些场景的分布非常广泛，在这些场景下，AI应用是无法把GPU强大的计算能力全部发.

1. GPU硬件架构简单理解，GPU就是很多很多非常弱的cpu在做并行计算。个人桌面电脑CPU只有2到8个CPU核心，GPU却有上千个核心。在英伟达的设计理念里，CPU和主存被称为Host，GPU被称为Device。Host和Device概念会贯穿整个英伟达GPU编程。 GPU核心在做计算时，只能直接从显存中读写数据，程序员需要在代码中指明哪些数据需要从内存和显存之间相互拷贝。这些数据传输都是在总线上，因此总线的传输速度和带宽成了部分计算任务的瓶颈。Intel的CPU目前不支持NVLink，只能使用PC

CUDA高性能计算讨论

357

社区成员

615

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章