是否可以在多个 GPU 上运行 cuda 内核答案

【问题标题】：Is it possible to run a cuda kernel on multiple gpus是否可以在多个 GPU 上运行 cuda 内核
【发布时间】：2011-05-19 19:34:04
【问题描述】：

这是一个相当简单的问题，但谷歌搜索似乎没有答案，所以。

我想知道的是，如果我有两个能够运行 cuda 的 gpu 卡（相同），我的内核可以跨越这些卡吗？还是绑定到一张卡或另一张卡？ IE。是 cuda 提供了整套可用的 gpu 内核，或者只是运行它的卡上的内核。

如果是这样，为了实现它，我需要了解什么特别的东西吗？除了 cuda sdk 之外还有什么值得了解的例子吗？

目标语言当然是 C/C++。

【问题讨论】：

【解决方案1】：

单个 CUDA 内核启动绑定到单个 GPU。为了使用多个 GPU，需要启动多个内核。

cuda 设备运行时 API focuses on whichever device is selected。任何给定的内核启动都将在最近使用 cudaSetDevice() 选择的任何设备上启动

cuda 示例simple multi-gpu with P2P 和simple multi-gpu 中给出了多GPU 编程示例

【讨论】：