多台 GPU 机器上的 TensorFlow？答案

【问题标题】：TensorFlow on multiple machines with multiple GPUs?多台 GPU 机器上的 TensorFlow？
【发布时间】：2019-06-15 07:22:39
【问题描述】：

我是机器学习和 TensorFlow 的新手。我有一个关于 TensorFlow 中的分布式训练的问题。我读过有关多 GPU 环境的信息，看起来很有可能 (https://www.tensorflow.org/guide/using_gpu)。

但是，多台机器配备多个 GPU 呢？是否可以在几台机器之间分配机器训练任务？是否有特定的算法/任务需要这样的分布或多个 GPU 足以进行机器学习？会有这个需求吗？

谢谢

【问题讨论】：

当然可以。您必须连接您的机器（套接字连接）并创建不同的工作人员类。此外，创建一个大师班，将工作分配给工人（例如，前 20% 的培训分配给一个工人机器，接下来的 20% 分配给下一个工人机器，依此类推）。您的工作人员应该在您的每台机器上使用相同的代码，并且应该对其进行参数化。

【解决方案1】：

有可能。

您可以使用distributed strategies 或horovod 的数据并行性在多台机器上运行相同的模型，以加快您的训练速度。在这种情况下，您将在多台机器上运行相同的模型来模拟更大的批次。

您还可以使用 GPipe 或 TF-Mesh 采用不那么传统的方式将单个模型拆分到多台机器上，以增加模型层的数量，甚至将单个层拆分到多个工作人员。

【讨论】：