【发布时间】：2018-12-18 15:01:03
【问题描述】：
我正在研究分布式张量流。但是，我对更新变量感到好奇。
假设我们尝试使用具有 1 个 PS 和 N 个工作人员的 Parameter Server 系统来训练模型。
当他们逐个工作人员更新变量时，在更新变量期间是否有任何原子性保证？
具体来说，我可以检查 TensorFlow 中提供变量原子性的源代码吗？
谢谢。
【问题讨论】：
标签： tensorflow distributed-computing
【发布时间】：2018-12-18 15:01:03
【问题描述】：
据我所知，Variable 有一个assign_add 接口，这个接口有一个参数：use_locking（默认为 False）。因此，如果您不设置use_locking，我认为在更新变量期间无法保证原子性。
【讨论】：
-
感谢您回答我的问题。那么这就意味着如果‘use_locking’为false，那么分布式训练中多个worker尝试更新变量时，变量的原子性是无法保证的，对吧？？