使用 CUDA 处理多个图像

Question

首先，我在发布之前尝试搜索这个问题（以为人们经常遇到它），但找不到相同的。 我有多个图像要处理，并且处理是在各种内核中完成的。 例如

md = true;
while(md) {
    kernel1<<<...>>>(image1, md);
    kernel2<<<...>>>(image1, md); //image1 here is the image modified by kernel1
    kernel3<<<...>>>(image1, md); //image1 here is the image modified by kernel2
}

md = true;
while(md) {
    kernel1<<<...>>>(imageN, md);
    kernel2<<<...>>>(imageN, md); //imageN here is the image modified by kernel1
    kernel3<<<...>>>(imageN, md); //imageN here is the image modified by kernel2
}

当任何内核将该图像的 md 设置为 false 时，对该特定图像的处理将停止。图片数量不固定。我想知道是否可以使用流并行处理图像？如果是，我如何知道属于流的一个内核何时完成，我应该为该特定图像调用下一个内核？ （我应该把它放在主机中的无限循环中吗）。 我在考虑动态并行，但我正在为 CUDA 计算能力 3.0 开发。 非常感谢您的宝贵时间。

已编辑：根据 VAnderi 的评论

Answer 1

我认为你可以使用 CUDA 流来完成这项任务，但如果你有多个图像，它应该会得到回报。

例如，您可以创建 2 个流，一个处理奇数图像，一个处理偶数图像。在每个流中，您将内核 1、内核 2 和内核 3“排入队列”，这样您就可以控制内核 2 等待内核 1，依此类推。请参阅 this 演示文稿。

流的行为类似于队列。如果您将内核推送到流中，它们将按照您将它们排入队列的顺序运行。请参阅此 post 了解更多信息。

我不建议将内核 1、2、3 放在不同的流上，因为这会使情况变得更糟。

关于动态并行，这更多是为了将内存副本与处理另一个数据集的内核重叠。如果您在处理内核中的当前图像的同时复制下一组图像，则可以从中获得更多性能。