tensorflow 分布式异步训练：两个工作人员打印出相同全局步骤的日志答案

【问题标题】：tensorflow distributed async training: two workers print out log for same global steptensorflow 分布式异步训练：两个工作人员打印出相同全局步骤的日志
【发布时间】：2018-06-16 02:51:37
【问题描述】：

我正在点击此链接来创建分布式异步多 GPU 训练 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/dist_test/python/mnist_replica.py

每 10 个训练步骤我打印出带有损失值、全局步骤值等的训练日志。但是我在日志中发现有时两个工人打印出相同的全局步骤（从下面的日志中可以看出），我没想到会发生这种情况。

expr_dist_async_b32.worker1.log:2018-06-12 00:09:59 Worker 1: step 13 (global step 50), sample prob 0.100000, train loss = 3.033742, lrate=0.000107, norm=1.311264
expr_dist_async_b32.worker2.log:2018-06-12 00:09:59 Worker 2: step 13 (global step 50), sample prob 0.100000, train loss = 3.060724, lrate=0.000107, norm=1.311264
expr_dist_async_b32.worker3.log:2018-06-12 00:10:08 Worker 3: step 16 (global step 60), sample prob 0.100000, train loss = 2.913497, lrate=0.000108, norm=1.034301
expr_dist_async_b32.worker2.log:2018-06-12 00:10:15 Worker 2: step 18 (global step 70), sample prob 0.100000, train loss = 2.913340, lrate=0.000109, norm=0.895563
expr_dist_async_b32.worker3.log:2018-06-12 00:10:25 Worker 3: step 21 (global step 80), sample prob 0.100000, train loss = 2.924278, lrate=0.000111, norm=1.006683

有人知道为什么会这样吗？

谢谢！

【问题讨论】：

标签： tensorflow

【解决方案1】：

我相信在这个例子中会发生以下情况。

global_step 变量在参数服务器上创建。每个工人在启动时，将其与所有其他变量一起获取。每个工作人员都有一个优化器，在运行时计算梯度和全局步长的增量。梯度和增量操作被发送到参数服务器。这些操作在 ps 上执行，worker 获取结果值。

在此设置中，如果您不选择同步训练，您几乎可以在工作人员身上看到任何东西。如果两个工作人员同时发送他们的更新，他们都可以取回global_step 的相同结果值。

【讨论】：