cudaMalloc 在哪个内存空间分配内存？

Question

如果我理解正确，CUDA 设备有几个不同的memory spaces。 （例如注册、本地、共享、全局等）。调用cudaMalloc()时，分配的内存驻留在哪个内存空间？

例如：

__global__ mykernel (void *p) {
    /* What memory space does p point to? */
    printf("p: %p\n", p);
}

int main() {
    void *p;
    assert(cudaMalloc (&p, 1024) == CUDA_SUCCESS);
    mykernel<<<1,1024>>> (p);
}

documentation 没有提到分配内存的级别。它只是说

在设备上分配size字节的线性内存并返回一个指向分配内存的指针。分配的内存适合任何类型的变量对齐。内存没有清空。

似乎内存必须驻留在全局/常量/纹理空间之一中，但哪个？

假设内存永远不会在本地/寄存器/共享内存空间中是否也安全？

Answer 1

全球

cudaMalloc 在全局内存中分配。 全局内存分配的另一种方法是在内核中使用new 和delete。

__global__ void myKernel(int N)
{
     int* a = new int[N]; // not recommended
     delete [] a;
}

---

共享

对于动态共享内存，你使用 sth like

extern __shared__ int s[];

然后像启动内核一样

myKernel<<<1,n,n*sizeof(int)>>();

或者只是__shared__ int s[4];（内核内部）用于静态共享内存

---

注册

对于寄存器，您可以考虑 C++ 中的自动分配（仅从语法的角度来看）：

int example = 0;
int moreExample[4]

主要区别在于，如果您的寄存器内存用完，您将发生寄存器溢出，并且变量可能最终在全局内存中而不是寄存器中。