CUDA Stream compaction：理解概念

Question

我正在使用 CUDA/Thrust/CUDPP。据我了解，在流压缩中，数组中的某些项目被标记为无效，然后被“删除”。

现在“移除”在这里的真正含义是什么？假设原始数组 A 长度为 6。如果 2 个元素无效（无论我们提供什么条件），那么

1. 系统是否在 GPU 内存中创建一个大小为 4 的 新 数组来存储有效元素以获得最终结果？

2. 或者它是否从内存中物理删除无效元素并缩小原始数组 缩小到 4 只保留有效元素？

对于任何一种情况，这是否意味着动态内存分配是在后台进行的？ 但我听说动态内存分配在 CUDA 世界中是不可能的。

Answer 1

首先，CUDA 在 Compute Capability 2.0 及更高版本的设备上可以进行动态内存分配。 CUDA 运行时库支持 __device__ 函数中的 malloc/free 和 new/delete。但这与答案无关，真的。

通常会提供足够大的输出数组（预先分配，通常与输入数组大小相同）并将输出写入其中。不需要动态分配，但存在潜在的存储浪费。这就是 CUDPP 和推力所做的。另一种方法是首先执行有效元素的计数，然后使用从主机 CPU 调用的 cudaMalloc 动态分配输出 GPU 内存。