怎么让CUDA并行计算与CPU多核多线程并行计算同时执行？

2017-07-11 11:32:03 1.5k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

chengfei900203 墨衍会员 · AI 创作全网分发关注 + 加入社区

C/Fortran多核并行计算新的0penMP标准（目前是5.2)支持GPU设备（显卡或专业计算卡)加速，但现有的OMP库对该功能支持有限（intel oneAPl套件支持intel的显卡），因此Devices相关的指令不做介绍。OMP的线程数可为任意正整数（实际受限，可由omp_get_thread_limit函数查询)，但线程数不宜超过CPU物理核心数（CPU的超线程对计算密集型任务无益)，| 初始值 | 0 | 0 | 1 | 所有位均为1 | 所有位均为0 | 所有位均为0 | 1 | 所有位均为0 | 阅读详情

如下程序所示，程序中有一个for循环，需要执行 576/48 =12次，每次for循环执行的操作包含两大部分：
（1）Part 1 ：在CPU端，创建了48个线程，执行完所有的线程后，需要将一个数组 coef_1_48 中的数据传递到
GPU端
（2）Part 2 ：在GPU端并行执行
问题：当在GPU端执行的时候，CPU会处于闲置等待状态，只有当GPU端的程序执行完后，CPU才会进行下一次循环，怎么才能让CPU和GPU同时执行呢？这样是不是能够节省时间呢？



HANDLE hThread[48];

int coef_1_48[48 * 4096 * 128];



DWORD WINAPI fun(LPVOID lpParam)

{

    //此处省略 N 行语句

  

  memcpy(coef_1_48 + id * 4096 * 128, coef_1, 4096 * 128 * sizeof(int));



   //当 Part 1 执行完后，需要将coef_1_48传递到GPU端。

   //id的值是通过fun传递过来的参数，取值范围是 0~47。 

   // int coef_1[4096 * 128];

  

  return 0;



}



main()

{

  int i;

  int frame;

  for(frame=0;frame<576;frame+=48)

  {   //一共有576帧图像，每次并行执行48帧的操作，循环 576/48=12 次



     //*************************Part 1 开始***************************************

     for(i=0;i<48;i++)

     {

     

	  hThread[i] = CreateThread(NULL, 0, fun, ¶[i], 0, NULL);

  

     }

  

  

     for (i = 0; i < 48; i++)

     {

		WaitForSingleObject(hThread[i], INFINITE);   

     }

  

    //*************************Part 1 结束***************************************

 

    //*************************Part 2 开始***************************************

    {

       cudaMalloc 分配空间

	   cudaMemcpyHostToDevice 复制数组coef_1_48中的数据到GPU端

	   kernel<<<block,thread>>>() 调用核函数

	   cudaMemcpyDeviceToHost 返回结果

    }

  

    //*************************Part 2 结束***************************************

  

  }

}