我有一台 4 GPU 机器，我在上面运行带有 Keras 的 Tensorflow (GPU)。我的一些分类问题需要几个小时才能完成。
nvidia-smi 返回 Volatile GPU-Util，它在我的 4 个 GPU 中的任何一个上都不会超过 25%。 如何提高 GPU Util% 并加快训练速度？
【问题讨论】：
标签： tensorflow keras nvidia multi-gpu
如果您的 GPU 利用率低于 80%，这通常是输入管道瓶颈的迹象。这意味着GPU大部分时间处于空闲状态，等待CPU准备数据：
您想要的是 CPU 在 GPU 进行训练以保持 GPU 供给的同时继续准备批次。这称为预取：
很好，但如果批量准备仍然比模型训练时间长，GPU 仍将保持空闲状态，等待 CPU 完成下一批。为了使批处理准备更快，我们可以并行化不同的预处理操作：
现在要在 Keras 中实现这一点，您需要使用 Tensorflow 数据 API 和 Tensorflow 版本 >= 1.9.0。这是一个例子：
让我们假设，为了这个例子，你有两个 numpy 数组 x 和 y。您可以将 tf.data 用于任何类型的数据，但这更容易理解。
def preprocessing(x, y):
# Can only contain TF operations
...
return x, y
dataset = tf.data.Dataset.from_tensor_slices((x, y)) # Creates a dataset object
dataset = dataset.map(preprocessing, num_parallel_calls=64) # parallel preprocessing
dataset = dataset.batch(batch_size)
dataset = dataset.prefetch(None) # Will automatically prefetch batches
....
model = tf.keras.model(...)
model.fit(x=dataset) # Since tf 1.9.0 you can pass a dataset object
tf.data 非常灵活，但与 Tensorflow 中的任何东西（除了渴望）一样，它使用静态图。有时这可能会很痛苦，但加快速度是值得的。
更进一步，您可以查看performance guide 和Tensorflow data guide。
【讨论】：
我遇到了类似的问题 - 所有 GPU 的内存都是由 Keras 分配的，但 Volatile 大约为 0%，并且训练花费的时间几乎与 CPU 相同。我使用的是ImageDataGenerator，结果证明这是一个瓶颈。当我将fit_generator 方法中的worker 数量从默认值1 增加到所有可用的CPU 时，训练时间迅速下降。
您也可以将数据加载到内存中，然后使用flow 方法准备带有增强图像的批次。
【讨论】：
flow_from_directory，但是工人编号设置为fit_generator方法的参数。很抱歉，我也会在上面更新我的答案。