cuda 设备内memcpy速度太慢

df夜落花千树 2023-11-13 11:30:09

如果直接写核函数实现显存到显存的拷贝

__global__ void NavieCpy(cufftComplex* src, cufftComplex* des)
{
int id = blockIdx.x + threadIdx.x * gridDim.x;
des[id]=src[id];
}
速度只有cudamemcpy约1/12，请问有没有global memory访问优化的例子可以参考，最好是基础的memcpy

...全文

610 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

　　近来完成了一个功能，然后进行各项测试工作的。吾发现了一个cudaMemcpy有严重的性能问题。如果复制的数据量，不超过1920x1080*4（颜色）*4（画面），性能表现良好。一旦超过，性能急剧恶化，消耗的时间大增。　　有人奇怪了：汝怎么知道的？　　这有什么奇怪的，测试多个摄像头的时候发现画面卡顿，再检查哪个步骤，就知道了。　　怎么解决呢？当然是限制数据量的大小。...

设备内存和GPU之间的峰值带宽（例如，在NVIDIA Tesla C2050上为144 GB / s）比主机内存和设备内存之间的峰值带宽（在PCIe x16 Gen2上为8 GB / s）高得多。这种差异意味着在主机和GPU设备之间进行数据传输可能会影响或破坏整体的应用程序性能。首先，让我们了解主机设-备数之间据传输的一些基本准则。（1）尽可能减少在主机和设备之间传输的数据量，即使这意味着与在主机CPU上运行相比，在GPU上运行内核的速度几乎没有提高。（2）使用页面锁定（或“固定”）内存时，主机

CUDA的程序优化主要分为算法优化和访存优化。算法方面的优化主要要看具体代码以及主要想完成的功能，今天主要讨论下访存的优化。访存主要用到的函数主要是cudaMemcpy函数。通过多次试验，发现该函数是这样工作的，首先要看我们传递多少数据量，根据数据量来决定传输过程中占用多

设备内存和 GPU 之间的峰值带宽（例如，在 NVIDIA Tesla C2050 上为 144 GB/s）远高于主机内存和设备内存之间的峰值带宽（在 PCIe x16 Gen2 上为 8 GB/s）。这种差异意味着您在主机和 GPU 设备之间实现数据传输可能破坏您的整体应用程序性能。在对以上策略展开介绍之前，首先给出如何在不修改源代码的情况下测量数据传输所花费的时间。

背景：cudaMalloc 创建一次，while循环中采用cudaMemcpy 向其中拷贝数据，发现内存会一直增大，最终把系统搞崩溃掉，通过分析得出 while循环中，调用cudaMemcpy，本身不会导致内存的增加，包括内核函数中使用shared ，也不会有啥影响，我的工程中，出现内存一直增长，原因是 pcap线程，获取原始数据，入队速度超过了 pixel 线程 cuda的处理速度，导致了内存。后续优化，参考第2节，cudaMemcpy的优化.为了进行思路验证，找到问题，编写了下面的这个demo.

589

社区成员

2,924

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章