以pytorch为框架运行bert，在gpu内存分配遇到问题？在网上找解决方案，说是减小bachsize，减小后还是报错。

Emma_YeNT 2020-11-12 09:11:03

...全文

632 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

伯特蒸馏对于更通用的管道，请遵循库和。我不再支持该项目。该项目是关于BERT蒸馏的。目的是通过便捷的高级API，可再现性和所有GPU新功能，基于任何语言提炼出任何BERT。特征各种损失分布式培训 fp16 使用张量板，wandb等进行日志记录催化剂框架简短查询不久之前，Hugging Face团队发表了有关DistilBERT模型的。这个想法是将知识从大学生模型转移到小学生模型。首先，我们需要训练有素的老师模型。让我们采用6个编码器，而不是12个！我们应该使用教师层初始化小模型的层。不用长时间训练我们的模型来进行隐蔽语言模型任务，我们可以增加我们的偶然损失KL散度和学生与老师之间的余弦损失，因为我们知道老师受过良好的训练。如本文所示，这种方法导致质量下降较小，减小模型尺寸并加快推理速度，尤其是在移动设备上。用法在催化剂框架中，有两种运行实

kaggle-google-quest 在Google QUEST Q＆A Labeling Kaggle竞赛中训练第六名解决方案的变压器模型的代码。详细说明发布在的Kaggle讨论部分运行代码需要：比赛数据放在名为data的目录中。可以从下载。需要安装requirements.txt文件中的软件包。默认情况下，训练是在GPU（单个RTX 2080Ti）上进行的，因此需要CUDA以及大约10GB的GPU内存。为了解决CUDA内存不足的错误，可以在train.py脚本中将批大小减小到1，并将梯度train.py增加到8。要重现所有4种变压器模型，请运行以下命令： python train.py -model_name=siamese_roberta && python finetune.py -model_name=siamese_roberta python

购买课程后，添加小助手微信（微信号：csdnxy68）回复【唐宇迪】进入学习群，获取唐宇迪老师答疑深度学习框架-PyTorch实战课程旨在帮助同学们快速掌握PyTorch框架核心模块使用方法与项目应用实例，让同学们熟练...

最近在训练微调bert预训练模型的时候，gpu内存老是不足，跑不了一个epoch就爆掉了，在网上来来回回找了很多资料，这里把一些方法总结一下：半精度训练半精度float16比单精度float32占用内存小，计算更快，但是半精度也有不好的地方，它的舍入误差更大，而且在训练的时候有时候会出现nan的情况(我自己训练的时候也遇到过，解决方法可以参考我的另一篇博客)。模型在gpu上训练，模型和输入数据都要.cuda()一下，转成半精度直接input.half()和model.half() 就行了。另外，还有

Pytorch 中文语言模型（Bert/Roberta）进一步预训练（further pretrain）1.Motivation2.相关链接3. 具体步骤3.1 依赖项3.2 数据格式3.3 代码运行4. 结果4.1 完整的目录结构4.2 训练过程4.3 训练结果5 .附录 1.Motivation Bert是在大规模的语料下进行MLM训练得到的结果。然而，在具体的任务下，再在自己新的数据集进行finetune的效果并不会特别好。因此，需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练，

CUDA高性能计算讨论

353

社区成员

615

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章