如何在两个GPU间COPY数据，不经过CPU和内存

guoboxue986235 2009-12-27 11:03:15

如何在两个GPU间COPY数据，不经过CPU和内存，十分感谢！

...全文

472 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

qin_y_j 2009-12-31

打赏
举报

回复

只有NV可以这样做， SLI，问问他能不能提供个API？

OpenHero 2009-12-31

打赏
举报

回复

现在SLI还没开放接口，所以暂时还不行

无心人_过过小日子 2009-12-28

打赏
举报

回复

不行的,做不到的吧.

CUDA不仅仅支持单GPU之间的运算，还支持多GPU之间数据传递，多GPU主要解决以下几个问题： 1：现有计算的数据集过大，不能在单个GPU之间进行运算。 2：通常单个GPU适合单任务处理，如果要增加吞吐量和效率，可以使用多GPU并发处理来。 GPU P2P 在同一个PCIe节点内两个GPU0和GPU1，如果GPU0的计算结果或者数据想传从到GPU1中，两个GPU之间的通信完全是依赖CPU，即CPU0首先将数据传送到CPU， CPU再把数据传送到GPU0中。此时可以看到数据传输带宽受限于CPU带宽，

1. 前言在之前的文档中记录了Faiss框架search时各个阶段的逻辑顺序和时间消耗，其中发现在第2.3节GPUIndex的搜索中，Copy back占的时间比值不小（达到了45.61%），相信如果要对整体方案进行优化，那么这一部分将是一个重要的突破口。所以这篇文档主要对数据的copy back进行分析。 2. Copy back说明 GPU search完成后会将输出结果distances和labels的数组保存到内存中，但仍然是在GPU内部的内存，应用程序无法知道实际结果，那么就需要将这部分数据

本文摘要： GPU数据传输机制分析：1)CPU侧数据存在两种形式：普通可分页内存和固定内存(pinned memory)，后者通过固定物理地址提升DMA性能；2)主机到设备(H2D)传输通过PCIe和DMA引擎完成，数据流向GPU的全局内存；3)GPU内部数据流动包括多级缓存(L2→共享内存/寄存器)和计算处理，强调共享内存作为软件管理的暂存区而非缓存层级。最后，设备到主机(D2H)传输仅将必要结果回传CPU。全文系统梳理了GPU数据处理全流程的关键技术细节。

在AI Infra性能调优中，GPU算力未跑满的常见原因并非计算瓶颈，而是系统内存与显存之间的数据搬运路径。数据从CPU DRAM到GPU HBM需经过PCIe协议、DMA引擎、Pinned Memory及NUMA拓扑等多层环节，其中PCIe带宽与HBM相差两个数量级，导致搬运效率成为关键约束。理解DMA引擎如何主动“抓取”数据、可分页内存如何被迫staging，是优化传输的基础。Pinned Memory通过页锁定消除中间拷贝，结合异步拷贝与多流重叠可显著提升吞吐；Zero-Copy、Unified Me

通过TensorRT结合CUDA的页锁定映射内存，实现zero-copy推理，让GPU直接访问主机内存，避免频繁数据拷贝，显著降低CPU负载与延迟。适用于边缘计算、视频流等高频小批量场景，在Jetson等设备上实测CPU利用率大幅下降，系统更高效稳定。

CUDA on Windows XP

231

社区成员

423

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章