CUDA - 复制到对象数组中的数组

Question

我有一个正在处理对象数组的 CUDA 应用程序；每个对象都有一个指向std::pair<int, double> 数组的指针。我正在尝试 cudaMemcpy 对象数组，然后 cudaMemcpy 对每个对象的数组，但是这给了我各种各样的悲伤。尝试复制到内部数组时崩溃；我不明白如何移动它...

#include <cuda.h>

#include <cuda_runtime.h>

#include <iostream>

using namespace std;

class Object
{
public:
    int id;
    float something;
    std::pair<int, float> *somePairs;
};

Object *objects;

void initObjects()
{
    objects = new Object[10];

    for( int idx = 0; idx < 10; idx++ )
    {
        objects[idx].id = idx;
        objects[idx].something = (float) idx;
    objects[idx].somePairs = new std::pair<int, float>[10];

        for ( int jdx = 10; jdx < 10; jdx++ )
        {
           objects[idx].somePairs[jdx] = std::pair<int, float>( jdx, (float) jdx );
        }

    }
}



void cudaMemcpyObjects()
{
     Object *devObjects;

     cudaMalloc( &devObjects, sizeof(Object) * 10 );
     cudaMemcpy( devObjects, objects, sizeof(Object) * 10, cudaMemcpyHostToDevice );

     for ( int idx = 0; idx < 10; idx++ )
     {
         size_t pairSetSize = sizeof(std::pair<int, float>) * 10;

         // CRASH HERE ... v
         cudaMalloc( &(devObjects[idx].somePairs), pairSetSize );
         cudaMemcpy( devObjects[idx].somePairs, objects[idx].somePairs,
                     sizeof( std::pair<int, float> ) * 10, cudaMemcpyHostToDevice );

     }


}


int main()
{
    initObjects();
    cudaMemcpyObjects();
    return 0;
}

Answer 1

我的 CUDA 体验还处于起步阶段，但我相信错误是这样的：

cudaMalloc 是一个 host 函数，它希望将指针写入 host 内存。但是，您正在向它传递 device 内存中的指针！

要解决这个问题，您应该首先创建设备指针并将它们填充到您的主机对象结构中，然后才将整个内容复制到设备上，并将各个对也复制到设备上。

示意图：

struct Bar;

struct Foo
{
  int tag;
  Bar * bp;
};

void setup()
{
  Foo * hFoo = new Foo[10];

  Foo * dFoo;
  cudaMalloc(dFoo, sizeof(Foo) * 10);

  for (size_t i = 0; i != 10; ++i)
  {
    Bar * dBar;
    cudaMalloc(&dbar, sizeof(Bar));

    Bar b;  // automatic temporary -- we never keep a host copy of this
    cudaMemcpy(dBar, &b, sizeof(Bar));

    hFoo[i].bp = dBar;    // this is already a device pointer!
  }

  cudaMemcpy(dFoo, hFoo, sizeof(Foo) * 10);
}

在返回时，不要忘记Foo::bp 是设备指针，你仍然需要一个一个复制回来！

只拥有一个可以一次性移动的自包含类可能会更容易，但这可能不实用，或者由于内存局部性的原因是不可取的。你必须谨慎对待这件事。如果成员只是一对，为什么不直接把这两个项目放在主类中呢？