以pytorch为框架运行bert，在gpu内存分配遇到问题？在网上找解决方案，说是减小bachsize，减小后还是报错。

Emma_YeNT 2020-11-12 09:11:03

...全文

804 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

BERT模型从训练到部署全流程

kaggle-google-quest 在Google QUEST Q＆A Labeling Kaggle竞赛中训练第六名解决方案的变压器模型的代码。详细说明发布在的Kaggle讨论部分运行代码需要：比赛数据放在名为data的目录中。可以从下载。需要安装requirements.txt文件中的软件包。默认情况下，训练是在GPU（单个RTX 2080Ti）上进行的，因此需要CUDA以及大约10GB的GPU内存。为了解决CUDA内存不足的错误，可以在train.py脚本中将批大小减小到1，并将梯度train.py增加到8。要重现所有4种变压器模型，请运行以下命令： python train.py -model_name=siamese_roberta && python finetune.py -model_name=siamese_roberta python

Pytorch 中文语言模型（Bert/Roberta）进一步预训练（further pretrain）1.Motivation2.相关链接3. 具体步骤3.1 依赖项3.2 数据格式3.3 代码运行4. 结果4.1 完整的目录结构4.2 训练过程4.3 训练结果5 .附录 1.Motivation Bert是在大规模的语料下进行MLM训练得到的结果。然而，在具体的任务下，再在自己新的数据集进行finetune的效果并不会特别好。因此，需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练，

最近在训练微调bert预训练模型的时候，gpu内存老是不足，跑不了一个epoch就爆掉了，在网上来来回回找了很多资料，这里把一些方法总结一下：半精度训练半精度float16比单精度float32占用内存小，计算更快，但是半精度也有不好的地方，它的舍入误差更大，而且在训练的时候有时候会出现nan的情况(我自己训练的时候也遇到过，解决方法可以参考我的另一篇博客)。模型在gpu上训练，模型和输入数据都要.cuda()一下，转成半精度直接input.half()和model.half() 就行了。另外，还有

通过预配置的PyTorch-CUDA镜像，Windows用户可绕开复杂的环境依赖问题，几分钟内实现GPU加速深度学习开发。结合Jupyter或SSH方式接入，无需手动安装CUDA和cuDNN，有效避免版本冲突，提升科研与工程效率。

CUDA高性能计算讨论

357

社区成员

615

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章