模型的数据是放在内存还是显存

星星89757 2016-11-30 03:03:17

机器学习，深度学习，GPU方案探索中遇到问题，如题。

...全文

1071 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

数据最终被加载到 GPU 的内存中，在这里进行模型的训练。是 PyTorch 中的一个类，它负责以批次的方式迭代地加载数据，并支持多线程数据预处理，这可以大大加速数据的准备过程。这里需要注意的是，数据从磁盘到 CPU 再到 GPU 的过程是分步骤进行的，而不是一次性全部加载。：在数据被加载到内存之后，CPU 可能会对数据进行预处理，比如数据增强、归一化、类型转换等操作。来分批次地加载数据，这样可以有效地管理内存使用，避免因一次性加载过多数据而导致的内存溢出。的多线程特性，以保证数据的顺序。

当我们数据比较大时，加载数据，然后再将数据丢到模型中训练时，有时候由于IO的原因，绝大部分时间放在了加载数据上，这时为了提高模型的训练速度，，详细间代码下面是一个图片分类的数据集原理很简单，在第一次读取数据的时候就一边读取，一边将数据加载到内存中，所以如果是第一次迭代的时候，还是很慢的，这个时候迭代的时候并没有从内存中读取数据，所以在使用的时候，我会先对数据加载一边，但这时候什么都不做，不将数据丢到网络中训练，只为将数据加载到内存中，具体看下面代码用法和常规的数据使用方法有点小区别上面是正常操作，目的

由于局部存储器中的数据被保存在显存中，而不是片上的寄存器或者缓存中，因此对local memory的访问速度很慢。常量内存数量有限，一共仅有 64 KB，由于有缓存，常量内存的访问速度比全局内存高，但得到高访问速度的前提是一个线程束中的线程(一个线程块中相邻的 32 个线程)要读取相同的常量内存数据。如果每个线程使用了过多的寄存器，或声明了大型结构体或数据，或者编译器无法确定数据的大小，线程的私有数据就有可能被分配到local memory中，一个线程的输入和中间变量将被保存在寄存器或者是局部存储器中。

深度学习训练时当显存不够时是否会调用共享GPU内存进行训练？问题来源：在用pycharm做一个模型训练时，想着能否同时再跑一个模型进行训练，但是发现显存已经不足1G了，于是就产生了上述的问题，在显存已然不足情况下能否通过占用共享GPU内存再对第二个深度学习模型进行训练？测试 1、单个神经网络进行训练于是做了如下的测试，下图是仅仅训练单个神经网络时的GPU内存占用大小，目前显存占用10.2，共享GPU内存占用0.1 2、两个神经网络同时训练在此基础上我又开始训练了第二个网络，但这个网络层数很少，

了解Python代码的内存消耗是每一个开发人员都必须要解决的问题，这个问题不仅在我们使用pandas读取和处理CSV文件的时候非常重要，在我们使用GPU训练的时候还需要规划GPU的内存使用。尤其是我们在白嫖使用kaggle和colab时显得更为重要。本篇文章我们将介绍两个 Python 库 memory_profiler和Pytorch-Memory-Utils这两个库可以帮助我们了解内存和显存的消耗。 memory_profiler pip install memory_profiler#Load it

589

社区成员

2,924

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章