cudaMemcpy 分段错误

Question

这个错误困扰我很久了，所以我决定把它贴在这里。

当调用 cudaMemcpy 时发生此分段错误：

CurrentGrid->cdata[i] = new float[size];
cudaMemcpy(CurrentGrid->cdata[i], Grid_dev->cdata[i], size*sizeof(float),\
                cudaMemcpyDeviceToHost);

CurrentGrid 和 Grid_dev 分别是指向主机和设备上的 grid 类对象的指针，在此上下文中 i=0。类成员cdata 是一个浮点型指针数组。为了调试，在调用 cudaMemcpy 之前，我打印了 Grid_Dev->cdata[i] 的每个元素的值、CurrentGrid->cdata[i] 和 Grid_dev->cdata[i] 的地址以及 size 的值，看起来都不错。但它仍然以“Segmentation fault (core dumped)”告终，这是唯一的错误消息。 cuda-memcheck 只给出“进程没有成功终止”。我目前无法使用 cuda-gdb。关于去哪里有什么建议吗？

更新：现在看来我已经通过 cudaMalloc 解决了这个问题，设备上的另一个浮点指针 A 和 cudaMemcpy Grid_dev->cdata[i] 的值到 A，然后 cudaMemcpy A 到主机。 所以上面写的这段代码就变成了：

float * A;
cudaMalloc((void**)&A, sizeof(float));
...
...
cudaMemcpy(&A, &(Grid_dev->cdata[i]), sizeof(float *), cudaMemcpyDeviceToHost);    
CurrentGrid->cdata[i] = new float[size];
cudaMemcpy(CurrentGrid->cdata[i], A, size*sizeof(float), cudaMemcpyDeviceToHost);            

我这样做是因为 valgrind 弹出“大小为 8 的无效读取”，我认为这是指 Grid_dev->cdata[i]。我用 gdb 再次检查它，打印出 Grid_dev->cdata[i] 的值为 NULL。所以我想即使在这个 cudaMemcpy 调用中我也不能直接取消引用设备指针。但为什么 ？根据thread 底部的注释，我们应该可以在 cudaMemcpy 函数中取消引用设备指针。

另外，我不知道 cudaMalloc 和 cudaMemcpy 如何工作的底层机制，但我认为通过 cudaMalloc 一个指针，比如这里的 A，我们实际上分配这个指针指向设备上的某个地址。并且通过 cudaMemcpy 将Grid_dev->cdata[i] 分配给 A，就像上面修改过的代码一样，我们重新分配指针 A 以指向数组。那我们在cudaMalloced时不就丢失了A指向的上一个地址的轨迹吗？这会导致内存泄漏还是什么？如果是，我应该如何正确解决这种情况？ 谢谢！

作为参考，我将发生此错误的完整函数的代码放在下面。

非常感谢！

__global__ void Print(grid *, int);
__global__ void Printcell(grid *, int);
void CopyDataToHost(param_t p, grid * CurrentGrid, grid * Grid_dev){

    cudaMemcpy(CurrentGrid, Grid_dev, sizeof(grid), cudaMemcpyDeviceToHost);
#if DEBUG_DEV
    cudaCheckErrors("cudaMemcpy1 error");
#endif
    printf("\nBefore copy cell data\n");
    Print<<<1,1>>>(Grid_dev, 0);            //Print out some Grid_dev information for 
    cudaDeviceSynchronize();                //debug 
    int NumberOfBaryonFields = CurrentGrid->ReturnNumberOfBaryonFields();
    int size = CurrentGrid->ReturnSize();
    int vsize = CurrentGrid->ReturnVSize();
    CurrentGrid->FieldType = NULL;
    CurrentGrid->FieldType = new int[NumberOfBaryonFields];
    printf("CurrentGrid size is %d\n", size);
    for( int i = 0; i < p.NumberOfFields; i++){
        CurrentGrid->cdata[i] = NULL;
        CurrentGrid->vdata[i] = NULL;
        CurrentGrid->cdata[i] = new float[size];
        CurrentGrid->vdata[i] = new float[vsize];

        Printcell<<<1,1>>>(Grid_dev, i);//Print out element value of Grid_dev->cdata[i]
        cudaDeviceSynchronize();        

        cudaMemcpy(CurrentGrid->cdata[i], Grid_dev->cdata[i], size*sizeof(float),\
                cudaMemcpyDeviceToHost);               //where error occurs
#if DEBUG_DEV
        cudaCheckErrors("cudaMemcpy2 error");
#endif
        printf("\nAfter copy cell data\n");
        Print<<<1,1>>>(Grid_dev, i);
        cudaDeviceSynchronize();
        cudaMemcpy(CurrentGrid->vdata[i], Grid_dev->vdata[i], vsize*sizeof(float),\
                cudaMemcpyDeviceToHost);
#if DEBUG_DEV
        cudaCheckErrors("cudaMemcpy3 error");
#endif
    }
    cudaMemcpy(CurrentGrid->FieldType, Grid_dev->FieldType,\
            NumberOfBaryonFields*sizeof(int), cudaMemcpyDeviceToHost);
#if DEBUG_DEV
    cudaCheckErrors("cudaMemcpy4 error");
#endif
}

编辑：这是来自 valgrind 的信息，我试图从中找出内存泄漏发生的位置。

==19340== Warning: set address range perms: large range [0x800000000, 0xd00000000) (noaccess)
==19340== Warning: set address range perms: large range [0x200000000, 0x400000000) (noaccess)
==19340== Invalid read of size 8
==19340==    at 0x402C79: CopyDataToHost(param_t, grid*, grid*) (CheckDevice.cu:48)
==19340==    by 0x403646: CheckDevice(param_t, grid*, grid*) (CheckDevice.cu:186)
==19340==    by 0x40A6CD: main (Transport.cu:81)
==19340==  Address 0x2003000c0 is not stack'd, malloc'd or (recently) free'd
==19340== 
==19340== 
==19340== Process terminating with default action of signal 11 (SIGSEGV)
==19340==  Bad permissions for mapped region at address 0x2003000C0
==19340==    at 0x402C79: CopyDataToHost(param_t, grid*, grid*) (CheckDevice.cu:48)
==19340==    by 0x403646: CheckDevice(param_t, grid*, grid*) (CheckDevice.cu:186)
==19340==    by 0x40A6CD: main (Transport.cu:81)
==19340== 
==19340== HEAP SUMMARY:
==19340==     in use at exit: 2,611,365 bytes in 5,017 blocks
==19340==   total heap usage: 5,879 allocs, 862 frees, 4,332,278 bytes allocated
==19340== 
==19340== LEAK SUMMARY:
==19340==    definitely lost: 0 bytes in 0 blocks
==19340==    indirectly lost: 0 bytes in 0 blocks
==19340==      possibly lost: 37,416 bytes in 274 blocks
==19340==    still reachable: 2,573,949 bytes in 4,743 blocks
==19340==         suppressed: 0 bytes in 0 blocks
==19340== Rerun with --leak-check=full to see details of leaked memory
==19340== 
==19340== For counts of detected and suppressed errors, rerun with: -v
==19340== ERROR SUMMARY: 1 errors from 1 contexts (suppressed: 2 from 2)

Answer 1

我相信我知道问题出在哪里，但要确认它，最好查看您用于在设备上设置 Grid_dev 类的代码。

当要在设备上使用一个类或其他数据结构时，并且该类中有指针，这些指针指向内存中的其他对象或缓冲区（大概在设备内存中，对于将在设备上使用的类） )，那么使这个顶级类在设备上可用的过程变得更加复杂。

假设我有这样的课程：

class myclass{
  int myval;
  int *myptr;
  }

我可以在主机上实例化上述类，然后malloc 一个int 的数组并将该指针分配给myptr，一切都会好起来的。要使此类仅在设备上可用且仅在设备上可用，过程可能相似。我可以：

1. cudaMalloc 指向设备内存的指针，它将保存myclass
2. （可选）使用 cudaMemcpy 将主机上 myclass 的实例化对象复制到步骤 1 中的设备指针
3. 在设备上，使用malloc或new为myptr分配设备存储空间

如果我不想访问主机上为myptr 分配的存储空间，上述顺序很好。但如果我确实希望主机可以看到该存储，我需要一个不同的顺序：

1. cudaMalloc 指向设备内存的指针，它将保存myclass，我们称之为mydevobj
2. （可选）使用 cudaMemcpy 将主机上 myclass 的实例化对象复制到步骤 1 中的设备指针 mydevobj
3. 在主机上创建一个单独的int指针，我们称之为myhostptr
4. cudaMalloc int 存储在设备上为 myhostptr
5. cudaMemcpy 将myhostptr的指针值从主机指向设备指针&(mydevobj->myptr)

之后，你可以cudaMemcpy将嵌入指针myptr指向的数据指向myhostptr上分配的区域（通过cudaMalloc）

注意，在第5步中，因为我取的是这个指针位置的地址，所以这个cudaMemcpy操作只需要主机上的mydevobj指针，这在cudaMemcpy操作中有效（仅）。

设备指针myint 的值将被正确设置以执行您尝试执行的操作。然后，如果您想将 cudaMemcpy 数据传入和传出 myint 到主机，则在任何 cudaMemcpy 调用中使用指针 myhostptr，not mydevobj->myptr。如果我们尝试使用mydevobj->myptr，则需要取消引用mydevobj，然后使用它来检索存储在myptr 中的指针，然后使用该指针作为到/从位置的副本。这在主机代码中是不可接受的。如果你尝试这样做，你会得到一个段错误。 （请注意，打个比方，我的mydevobj 就像你的Grid_dev，我的myptr 就像你的cdata）

总体而言，这是一个在您第一次遇到它时需要仔细考虑的概念，因此此类问题在 SO 中出现的频率很高。您可能想研究其中一些问题以查看代码示例（因为您尚未提供设置 Grid_dev 的代码）：

1. example 1
2. example 2
3. example 3