MPI ghost-cell 与 MPI_Type_create_subarray 或 MPI_Type_vector/contigous 交换

Question

我目前正在尝试实现类似于 2D 扩散的模拟。我想通过使用域组合来加速该过程，自动将整个域拆分为正确的块（根据硬件 - MPI_Dims_create）。然后，我在每次迭代后交换相邻单元/进程之间的幽灵单元（因为下一次迭代需要它们）。
我使用笛卡尔坐标 (MPI_Cart_create) 实现了整体，因此我将整个域拆分为具有不同维度 Nx 和 Ny 的 Nx*Ny 单元块。我已经有了概念上最简单的缓冲区实现，但我现在想使用 MPI 类型来提高性能。

我目前面临的问题是，是否有一种方法可以使用子数组构建幽灵单元，或者我是否必须使用向量 MPI 类型？我找到了子数组here 的提示，但我认为我不能用它从不连续的内存中构建子数组。这个假设是否正确，我应该最好使用 MPI_Type_vector 吗？

Answer 1

我目前面临的问题是，是否有办法使用子数组构建幽灵单元，还是必须使用向量 MPI 类型？

您可以使用 MPI_Type_create_subarray 来实现幽灵单元交换，但我认为这有点矫枉过正。它的主要目的是促进对分布在许多处理器上的全局阵列的访问。使用 MPI，您最好使用本地解决方案，在这种情况下，它是打包数据并仅在相邻进程之间传递。这避免了集体操作对于大量处理器的扩展性很差。

手动打包缓冲区可能相当有效。 MPI_types 简化了这个打包过程，但不一定加快它（William Gropp、Ewing Lusk、Anthony Skjellum 的“使用 MPI：带有消息传递的便携式并行编程”中给出了使用 MPI_TYPES 进行幽灵单元交换的示例） .

无论您做什么，MPI 都必须进行跨步数据访问和复制数据，以准备用于交换幽灵单元数据的缓冲区。