单个计算节点，多个GPU之间是如何通信呢？

MrCzx 2017-10-09 05:00:05

数据拷贝函数，cudaMemcpy（）函数的设备到设备之间的数据传输是怎么传输的（主要通过什么？）。单个计算节点，多个GPU之间之前的通信方式是通过主机的内存来通信的，现在最新的技术是什么？具体原理是什么呢？

...全文

974 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在应用程序中添加对多GPU的支持，其最常见的原因是以下几个方面：问题域的大小：现有的数据集太大，单GPU内存大小与其不相符合；如果单GPU适合处理单任务，那么可以通过使用多GPU并发地处理多任务来增加应用程序地吞吐量。在多GPU系统中，允许分摊跨GPU的服务器节点的功率消耗，具体方式是为给定的功率消耗单元提供更多的性能，同时提高吞吐量。当使用多GPU运行应用程序时，需要正确设计GPU间的通信。GPU间数据传输的效率取决于GPU是如何连接在一个节点上并跨集群的。在多GPU系统里有两种连接方式

AI 技术对算力的需求是非常庞大的，虽然 GPU 的计算能力在持续提升，但是对于 AI 来说，单卡的计算能力就算再强，也是有极限的，这就需要多 GPU 组合。而 GPU 多卡的组合，主要分为单个服务器多张 GPU 卡和多个服务器，每个服务器多张卡这两种情况，无论是单机多卡还是多机多卡，GPU 之间需要有超强的通信支持。

GPU集群是一个计算机集群，其中每个节点配备有图形处理单元(GPU)。通过图形处理单元(GPGPU)上的通用计算来利用现代GPU的计算能力，可以使用GPU集群执行非常快速的计算。GPU集群可以使用来自两个主要独立硬件供应商的硬件(AMD和NVIDIA)。中文名GPU集群学科计算机硬件定义一个计算机集群目的执行非常快速的计算有关术语图形处理单元GPU集群简介编辑语音从硬件架构...

CUDA不仅仅支持单GPU之间的运算，还支持多GPU之间数据传递，多GPU主要解决以下几个问题： 1：现有计算的数据集过大，不能在单个GPU之间进行运算。 2：通常单个GPU适合单任务处理，如果要增加吞吐量和效率，可以使用多GPU并发处理来。 GPU P2P 在同一个PCIe节点内两个GPU0和GPU1，如果GPU0的计算结果或者数据想传从到GPU1中，两个GPU之间的通信完全是依赖CPU，即CPU0首先将数据传送到CPU， CPU再把数据传送到GPU0中。此时可以看到数据传输带宽受限于CPU带宽，

多GPU管理；跨多GPU执行核函数； GPU间的叠加计算和通信； GPU间的同步；使用CUDA-aware MPI交换数据；使用GPU Direct RDAM的CUDA-aware MPI交换数据；跨GPU加速集群扩展应用程序；理解CPU和GPU的亲和性；

580

社区成员

2,919

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章