多GPU并行加速问题

[xmzzp]

用4个GPU计算的时间是1个GPU计算时间的4倍左右，每个GPU的计算量设置的都是相同的，所以不明白是我程序调用的问题还是多个GPU计算时本身就是串行的？
如果多GPU可以并行计算的话，该怎么调用呢？
我调用的方式如下：
for (int i=0;i<GPU_N;i++)
{
CUDA_SAFE_CALL(cudaSetDevice(i));
CUDA_SAFE_CALL(cudaStreamCreate(&plan[i].stream));
CUDA_SAFE_CALL(cudaMalloc((void**)&plan[i].d_O,sizeof(float)*(sizeMat)));
CUDA_SAFE_CALL(cudaMallocHost((void**)&plan[i].h,sizeof(float)*(sizeMat)));
}

for(int i=0;i<GPU_N;i++)
{
CUDA_SAFE_CALL(cudaSetDevice(i));
holo<<<grid,threads,0, plan[i].stream>>>(plan[i].d_O);
CUDA_SAFE_CALL(cudaThreadSynchronize());
CUDA_SAFE_CALL(cudaMemcpyAsync(plan[i].h,plan[i].d_O,sizeof(float)*sizeMat,cudaMemcpyDeviceToHost));
}

[baidu_16632839]

同问中·····

[austwl]

这些调用函数怎么学的啊？谢谢

[hongjun3]

要用它的编程接口建几个线程

[austwl]

作为一名新手，请问有没有中文书籍可以介绍下如何使用CUDA，以及利用库函数进行相应计算？谢谢

[qq_16655289]

学习中，刚接触ANDROID

[qq_15222805]

新手，从中学习了不少

[Nancy_boy]

新手，从中学习了不少

[leejunokokok]

[baidu_16640649]

哦 原来是这样

[zaq110022]

这个很难呢,我也不会，求解

[晓旭sky]

啊啊啊啊 学习中

[qq_16689805]

新手学习.................

[wudayingxiaoxue]

新手学习.

[yool123]

学习了，以后会常来

[qq_16709685]

非常不错 呵呵

[Online-7年]

cudaThreadSynchronize()这个函数是线程同步，等待核函数结束，cpu才进行下一个语句，也就是说cpu在分配任务的时候就已经是分配一个，等待一个运算结束，再分配第二个。这样当然和只用一个GPU时间一样了

[sinat_16745593]

好高深。。没看懂

[chishilaoda1]

应该是切换关系吧.

[ycth8]

可以并行，需要设置不同的线程，每个线程设置一个GPU，线程并行，多个GPU自然也并行处理了。

[stellarman]

数据完全并行开了没有.从你贴的code很难发现问题，你应该运行10次，看看第三次以后的时间。 cudaThreadSynchronize() 我觉得应该用cudaDeviceSynchronize()。