使用 CUDA6.5 + MPI 时是否必须使用 MPS（多进程服务）？

Question

链接写的是：https://docs.nvidia.com/deploy/pdf/CUDA_Multi_Process_Service_Overview.pdf

1.1.概览

1.1.1。 MPS

多进程服务 (MPS) 是一种替代的、二进制兼容的 CUDA 应用程序编程接口 (API) 的实现。 MPS 运行时架构旨在透明地启用 协作的多进程 CUDA 应用程序，通常是 MPI 作业，以 在最新的 NVIDIA（基于 Kepler）Tesla 上使用 Hyper-Q 功能 和 Quadro GPU。 Hyper-Q 允许处理 CUDA 内核 同时在同一个 GPU 上；这可以提高性能时 单个应用程序进程未充分利用 GPU 计算能力。

1. 在使用 CUDA6.5 + MPI (OpenMPI / IntelMPI) 时我是否必须使用 MPS（多进程服务），或者我是否可以不使用 MPS，但会损失一些性能没有任何错误？

2. 如果我将不使用 MPS，这是否意味着我在单个服务器上的所有 MPI 进程将在单个 GPU 上按顺序（非并发）执行其 GPU 内核函数-card，但所有其他行为将保持不变？

Answer 1

1. 使用 MPI 不需要 MPS

2. 如果您不使用 MPS，但您为每个节点（即每个 GPU）启动多个 MPI 等级，那么如果您将计算模式设置为默认值，那么您的 GPU 活动将序列化。如果您将计算模式设置为 EXCLUSIVE_PROCESS 或 EXCLUSIVE_THREAD，当多个 MPI rank 尝试使用单个 GPU 时，您将收到错误。

CUDA MPS 文档可用here。