GPU上的图像计算和值返回

Question

我有一个 C# 项目，我在其中从相机中检索灰度图像并使用图像数据进行一些计算。这些计算非常耗时，因为我需要多次循环整个图像，而且我都是在 CPU 上完成的。

现在我想尝试在 GPU 上运行评估，但我很难做到这一点，因为我以前从未做过任何 GPU 计算。

该软件应该能够在具有不同硬件的多台计算机上运行，​​因此 CUDA 对我来说不是一个解决方案，因为代码也应该在只有板载显卡的笔记本电脑上运行。经过一番研究，我遇到了 Cloo (found it on this project)，这似乎是一个相当合理的选择。

到目前为止，我将 Cloo 集成到我的项目中，并尝试让 this hello world 示例运行。我猜它正在运行，因为我没有收到任何异常，但我不知道在哪里可以看到打印输出。

对于我的计算，我需要将图像传递给 GPU，并且在计算过程中我还需要 x-y 坐标。因此，在 C# 中，计算如下所示：

int a = 0;
for (int y = 0; y < img_height; y++){
    for (int x = 0; x < img_width; x++){
        a += image[x,y] * x * y;
    }
}

int b = 0;
for (int y = 0; y < img_height; y++){
    for (int x = 0; x < img_width; x++){
        b += image[x,y] * (x-a) * y;
    }
}

现在我想让这些计算在 GPU 上运行，并且我想并行 y-loop，以便在每个任务中运行一个 x-loop。然后我可以在第二个循环块开始之前获取所有结果 a 值并将它们相加。

之后我想将值 a 和 b 返回到我的 C# 代码并在那里使用它们。

所以，结束我的问题：

1. 对于这项任务，Cloo 是一个值得推荐的选择吗？
2. 将图像数据（16 位、短数组）和尺寸（img_width、img_height）传递到 GPU 的最佳方式是什么？
3. 如何从 GPU 返回值？据我所知，内核总是被用作kernel void...
4. 实现循环的最佳方法是什么？

我希望我的问题很清楚，并且我提供了足够的信息来了解我的挣扎。任何帮助表示赞赏。提前致谢。

Answer 1

让我们对问题进行逆向工程。了解image[][], image_height, image_width, a, b的“依赖链”的高效处理

---

Ad 4 ) 串联相同的for-loops 性能不佳

给定定义的代码，可能只有一个循环，因此可以降低开销成本，并且最好还最大化缓存对齐的矢量化代码。

Cache-Naive 重新制定：

int a = 0;
int c = 1;

for (     int  y = 0; y < img_height; y++ ){
    for ( int  x = 0; x < img_width;  x++ ){
          int      intermediate = image[x,y] * y; // .SET   PROD(i[x,y],y) 
          a += x * intermediate;                  // .REUSE 1st
          c -=     intermediate;                  // .REUSE 2nd
    }
}
int b = a * c; // was my fault upon being in a hurry leaving for weekend :o)

将代码移入拆分串联循环只会增加这些开销，并破坏代码性能调整中任何可能的缓存友好技巧。

---

Ad 3 + 2 ) 内核调用签名 + CPU 端方法允许这样做

OpenCL 和 Cloo 记录了这些细节，所以除了记录的方法之外，这里不需要任何神奇的东西。

然而，每个这样的主机端到设备端 + 设备端到主机端的传输都会产生延迟成本。鉴于您声称要在一个循环中重新处理 16 位 1920x1200 图像数据 ~10 次，这些延迟有可能不需要花费在每个这样的循环传递上。

最糟糕的性能杀手是非常浅的内核数学密度。问题是，内核中确实没有太多要计算的东西，所以任何高效的 SIMD / GPU 并行技巧的机会确实很低。

从这个意义上说，CPU 端智能矢量化代码将比 (H2D + D2H)-开销远延迟-敌对计算-浅 GPU-内核处理做得更好。

---

广告 1) 给定上面的 2+3 和 4，1 可能很容易失去意义

作为原型并提供额外的缓存友好矢量化技巧，内存中 + 缓存中矢量化代码将有机会击败所有 OpenCL 和混合 GPU/CPU 自动临时内核编译生成的设备代码及其计算工作.