Cuda 如何从全局函数运行多个线程？一个运行多个线程的内核

Question

我需要让一部分计算并行。它是对向量的计算，有时我需要对每个值进行一次操作。所以我想让它平行。

我无法解释我对示例的计算（它只是简单的示例，不是我的算法）： 我正在向前移动一个指针，当我找到数字 5 时，我将 5 添加到向量中的每个数字。

所以我想避免在主机上执行此操作，并在每个指针移动后将所有大向量复制到设备 主机（可重复）。我想它可能比在 Host 上做所有事情效率低。

所以我有了一个想法，我将所有向量复制到设备一次，然后我将开始算法。

这是一个简单的解决方案，可以解决我的问题：

__device__ void devFunction(long long unsigned int *arr, long long unsigned int param, long long unsigned int N) {
    long long unsigned int i = blockIdx.x* blockDim.x+ threadIdx.x;
    // do something ...
}

__global__ void globFunction(long long unsigned int *arr, long long unsigned int N) {

    do {
        devFunction(arr, param, N); // I want to run many threads here like <<<...>>>

        // do something ...

    } while(/* ... */);
}


int main() {
    // declare array, alloc memory, copy memory, etc.
    globFunction<<< 400000, 256>>>(arr, N); // I think here should be <<<1,1>>>
    // do something ...
    return 0;
}

那么有可能吗？从内核并行运行多个函数？还有其他解决方案吗？

Answer 1

不，这是不可能的。但是您可能会以错误的方式处理此问题：只有主内核函数才需要计算线程索引，并且您应该以每个线程都有独立工作要做的方式设计代码.这就是可并行化问题的本质。并行代码中不应存在分支或跨线程数据依赖。

作为一个粗略的骨架示例，代码应如下所示：

__global__ void kernel(int * indata, int * outdata)
{
  unsigned int tid = threadId.x + blockDim.x * blockId.x; // or suitable analogue

  device_computation(indata + tid, outdata + tid);
}

__device__ void device computation(int * in, int * out)
{
  // This code does not care about the thead ID
  // -- it is already local to one single thread
  *out = *in * 2;
}

您真的不应该任何需要知道indata[j] 来计算indata[i]。如果这样做，则必须对数据进行分区，以便执行计算所需的所有数据仅对单个线程可见。

如果不能这样设计代码，则会严重影响性能，您应该调查它是否真的值得并行化。

（这个例子过于简单了；当然应该考虑到使用块共享内存的机会。但是，这并不影响每个线程应该能够独立于其他线程运行的事实。）