小型规模化优化

[yanghuatian]

最近本人需要做一个CUDA的优化没因为程序算法的复杂性，只能对其局部进行并行化，且有大量重复操作。
即,需要用到的CUDA操作非常频繁且规模较小。
需要如何改进可使得程序优化：

short *DCT_Mat;
cudaMalloc((void**)&DCT_Mat,SIZE);
cudaMemcpy(DCT_Mat,DctMat,SIZE,cudaMemcpyHostToDevice);

dim3 dimBlock(8,8);
dim3 dimGrid(1,1);

Transform<<<dimGrid,dimBlock>>>(DCT_Mat);  //所花时间1ms

cudaMemcpy(DctMat,DCT_Mat,SIZE,cudaMemcpyDeviceToHost);

正如程序所示，该代码所需要操作的数据大小，只有8*8的矩阵。
在CPU下源代码花费时间为6ms，而CUDA下却进28ms之多，
经测试大量的时间花在了内存的申请和矩阵的值传递上。
请大神指点，如何设置可以优化这种情况的时间使用。

[linxxx3]

如果每次都是无关的数据，类似流式的，那么可以攒到一定规模一起计算； 如果每一次计算都和上次的结果相关，类似迭代的，可以把所有计算放到GPU上，只在初始和结束拷贝一次数据，中途不和CPU打交道。