用于 SeqGAN 的多 GPU TensorFlow

Question

我们尝试使用 Tensorflow 在两个 GTX-1060 上训练 SeqGAN，但发现它仅使用 /GPU:0 进行训练。检查log_device_placement后，所有层都连接到GPU:0，没有层使用GPU:1。

经过搜索，看来需要我自己将层部署到多GPU中。（但我们不确定这是否正确。）

我们的问题是，我们能否像这样部署我们的培训工作：

• 假设 BATCH=64
• GPU:0：处理 0-31 BATCH 数据
• GPU:1：处理 32-63 BATCH 数据
• 使用任一设备汇总结果。

Tensorflow 是否支持此功能？需要我们自己实现吗？

SeqGAN：https://github.com/LantaoYu/SeqGAN

日志：https://drive.google.com/open?id=0B-fFMM_3Dj9Ja3Vzckh2TmdlNGM

Answer 1

TensorFlow 支持此功能，您可以在 CIFAR-10 tutorial 中找到它。查看代码cifar10_multi_gpu_train.py 和here。