如何在单 cpu 机器上使用 MPI 在 openCL 中实现程序

Question

我是 GPU 编程新手，我有没有显卡的笔记本电脑，我想在 intel openCL 上开发一个矩阵乘法程序，并使用 MPI 实现这个应用程序..

可以发布任何指南和有用的链接。

我对 MPI 的事情感到困惑，我们是否必须为 MPI 编写代码，还是必须使用一些已开发的 MPI 来运行我们的应用程序？

这是我想做的项目提案

GPU 集群计算（C++、OpenCL 和 MPI）

• 研究 MPI 以解决问题

• 在单台机器上实现 OpenCL 应用（矩阵乘法/2D 图像处理）

• 使用 MPI 实现应用（例如大型 2D 图像处理）

Answer 1

所以要理解的是，就您的目的而言，MPI 和 OpenCL 是完全正交的。 MPI 用于 GPU 节点之间的通信； OpenCL 用于通过使用 GPU（或多个 CPU 内核）在单个节点上加速本地计算。对于这些问题中的任何一个，您将从编写串行 C++ 版本的代码开始。下一步将是（以任何顺序）为单个节点处理 OpenCL 实现，并处理分解问题的 MPI 版本（您不想要用户主从上面列出的任何问题）到多个进程上，每个进程都执行其本地部分的计算，这有助于全局解决方案。完成这两个部分后，您将合并两者并拥有一个分布式内存（MPI 部分）GPU（OpenCL 部分）版本的代码来解决这个问题。

当然，这不会那么容易，将两者结合起来需要相当多的工作，但这是要牢记的基本方法。从一个问题开始，让它在 C++ 中的单个处理器上运行，然后尝试其中一个。不要试图一次做所有的事情，否则你将一事无成。

对于矩阵乘法等问题，互联网上有很多 GPU 和 MPI 实现的示例可供学习。

Answer 2

简化：

MPI 是一个用于通信进程的库，也是一个在集群中运行应用程序的平台。您编写了一个使用 MPI 库的程序，然后应该使用 MPI 执行该程序。 MPI 在集群中分叉该应用程序 N 次，并允许使用消息与该应用程序实例进行通信。

创建实例的任务，如果它们是相同或不同的工作人员，拓扑由您决定。

我认为有 3 种使用方式（OpenCL 和 MPI）：

1. MPI 启动 (K+1) 个实例，一个主实例和 K 个从属实例。主机将数据分成块，从机使用 OpenCL 处理 GPUS 中的数据。所有的奴隶都是一样的。
2. MPI 启动 (k+1) 个实例，一个主实例和 k 个从属实例。每个从机计算一个专门的问题（从机 1 矩阵乘法、从机 2 块压缩等），主机将数据引导到工作流类型的任务中。
3. MPI 启动 (k+1) 个实例，一个主实例和 k 个从属实例。与案例 1 相同，但主设备还向从设备发送 OpenCL 程序以处理数据。