在 Python 中使用 CUDA 进行 GPU 控制

Question

我想在 Python 中使用 Tensorflow-gpu。 我的电脑有两个 GPU。 （GPU-A 和 GPU-B）

我想指定要使用的 GPU。

所以当我运行程序时，我使用了以下命令：

CUDA_VISIBLE_DEVICES = 1

可以根据值指定要使用的GPU。 具体分配如下。

CUDA_VISIBLE_DEVICES = 0

我能够使用 GPU-B。

另一方面

CUDA_VISIBLE_DEVICES = 1

那时，我可以使用 GPU-A。

但是，我无法提前知道 GPU-A 或 GPU-B 对应的值是 0 还是 1。 我找到了一个说法，“这个索引是按照计算能力的降序分配的”。 但是，GPU-A 的计算速度比 GPU-B 快。 我认为“索引是按修订号（计算能力）的顺序分配的，而不是计算速度”。 事实上，GPU-B 比 GPU-A 具有更高的计算能力。

如果假设正确，我还有一个问题。 如果使用多个具有相同计算能力的 GPU，它们将如何分配？

Answer 1

您可以尝试在终端中运行nvidia-smi。您获得的输出显示您的 GPU 排序。例如：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.104      Driver Version: 410.104      CUDA Version: 10.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:01:00.0 Off |                  N/A |
|  0%   52C    P8    21W / 250W |      2MiB / 11176MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GT 1030     Off  | 00000000:02:00.0  On |                  N/A |
| 41%   54C    P0    N/A /  30W |   1055MiB /  2001MiB |      6%      Default |
+-------------------------------+----------------------+----------------------+

在这里，我有 2 个 GPU：

1. GPU 0：GTX 1080Ti
2. GPU 1：GT 1030

然后您可以在TensorFlow 中进一步使用索引。