cuda 设备内memcpy速度太慢

2023-11-13 11:30:09 1.3k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

CUDA加速智能体推理：从AgentX基准到内核实战并行计算是高性能计算的核心，GPU凭借海量核心成为加速复杂推理任务的关键。CUDA作为NVIDIA的并行计算平台，通过算子调度、显存管理与CUDA Graph等机制，深刻影响着深度学习推理的延迟与吞吐。在智能体（Agent）推理场景中，模型需要多轮规划、工具调用与结果观察，计算负载更碎片化，对底层性能优化提出更高要求。AgentX推理基准的出现，将语义准确率与端到端性能纳入统一评测，使CUDA环境配置与内核优化成为Agent工程落地的重要环节。从驱动、Toolkit到cuDNN的版本选型，再到自定义CUDA 阅读详情

如果直接写核函数实现显存到显存的拷贝

__global__ void NavieCpy(cufftComplex* src, cufftComplex* des)
{
int id = blockIdx.x + threadIdx.x * gridDim.x;
des[id]=src[id];
}
速度只有cudamemcpy约1/12，请问有没有global memory访问优化的例子可以参考，最好是基础的memcpy

...全文