张量流 + LSF。 LSF 集群上的分布式张量流答案

【问题标题】：Tensorflow + LSF. Distributed tensorflow on LSF cluster张量流 + LSF。 LSF 集群上的分布式张量流
【发布时间】：2016-12-19 10:26:09
【问题描述】：

如何设置 tensorflow 以使用 LSF 作业调度程序？我几乎没有使用 LSF 的经验。 tf.train.ClusterSpec 需要 worker 和参数服务器的 ip 地址。是否可以从 LSF 环境中获取它们？有没有让它们一起工作的成功案例？

编辑：

在 Slurm 集群 Running TensorFlow on a Slurm Cluster? 上找到了一些如何实现类似目标的解释。基本上，我正在寻找这样的东西，但对于 LSF 作业调度程序

【问题讨论】：

【解决方案1】：

在 LSF here 上有一篇博文和 TensorFlow 示例启动脚本。

【讨论】：

【解决方案2】：

您可以在 LSF 上执行此操作，但我不建议这样做。我的建议是，如果你可以使用 Docker 并走这条路。 LSF 还有很多其他可能出错的并发症。此外，TensorFlow 并不是专门为在 LSF 这样的系统上运行而设计的。

Docker Swarm 和 Compose 过去在我解决这个特殊问题时效果很好。

【讨论】：