如何在不同的 GPU 上与 tensorflow 并行训练多网络？

【问题标题】：How can I train multi-networks on different GPUs in parallel with tensorflow?如何在不同的 GPU 上与 tensorflow 并行训练多网络？
【发布时间】：2017-08-13 16:59:03
【问题描述】：

我想在 3 个 GPU 上并行训练 3 个不同规模的网络，然后对这些输出进行集成。（使用张量流）

我是否需要为每个网络创建图表和相应的会话？以及如何使这些会话同时运行而不是顺序运行？

【问题讨论】：

标签： tensorflow deep-learning

【解决方案1】：

我是否需要为每个网络创建图表和相应的会话？

是的，由于网络不完全相同，因此需要创建单独的图形和会话。

以及如何使这些会话同时运行而不是顺序运行？

假设您有三个训练脚本train_graph1.py、train_graph2.py、train_graph3.py。您需要同时单独运行所有这些脚本才能同时运行。

CUDA_VISIBLE_DEVICES=0, train_graph1.py ....
CUDA_VISIBLE_DEVICES=1, train_graph2.py ....
CUDA_VISIBLE_DEVICES=2, train_graph3.py ....

【讨论】：

我试图在一个脚本中实现这一点。也许我把它复杂化了。非常感谢。