如何使用gpu进行tensor2tensor的训练？

qq_34427404 2020-05-16 08:21:27

我利用服务器训练tensor2tensor官方给定的手写字体的例子，但是训练过程并没有使用gpu（gpu可以正常使用），请问怎么才能利用gpu进行训练？

...全文

582 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文介绍如何使用Keras构建CIFAR10识别模型，并对比CPU与GPU的训练效率。通过正确配置CUDA与TensorFlow版本，GPU训练速度大幅提升，从141s减少至21s。

在使用Tensor2Tensor训练基于Transformer的模型时，遇到GPU内存错误。初始运行顺利，但因实验室其他人占用部分GPU资源导致问题。尝试通过修改GPUOptions的allow_growth参数来限制GPU使用量，但未成功。进一步尝试通过设置CUDA_VISIBLE_DEVICES和--worker_gpu选择特定GPU运行，仍无法避免全GPU使用。最终通过直接修改train_util.py文件，根据指南调整GPUOptions以解决问题。尽管环境变量CUDA_VISIBLE_DEVICES对TensorFlow无效，但在PyTorch中有效。

本文记录了使用Tensor2Tensor进行训练时遇到的GPU丢失问题，并提供了两种可能的解决方案，包括修改rc.local文件和grub配置。

本文介绍了如何在Tensor2Tensor库中调整并利用多个GPU进行深度学习训练的步骤和关键参数设置。

本文介绍了如何使用nvidia-docker和Tensorflow Serving在GPU环境下快速部署基于Tensor2Tensor的神经机器翻译服务。从Docker的GPU版本安装，到Tensor2Tensor模型的训练和导出，再到Tensorflow Serving的配置和预测服务启动，详细阐述了整个流程。然而，文章提出在服务端实时翻译时无法调整beam_size和alpha_size，以及翻译速度较慢的问题，对于这些问题，作者提到了部分解决方案和后续优化方向。

374

社区成员

345

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章