在 TensorFlow 中分配 op：返回值是多少？

Question

我试图在 TensorFlow 中构建一个自动增量图。我认为assign 操作可能适用于此，但没有找到它的文档。

我假设这个操作返回它的值——就像在类 C 语言中一样——并编写了以下代码：

import tensorflow as tf

counter = tf.Variable(0, name="counter")

one = tf.constant(1)
ten = tf.constant(10)

new_counter = tf.add(counter, one)
assign = tf.assign(counter, new_counter)
result = tf.add(assign, ten)

init_op = tf.initialize_all_variables()

with tf.Session() as sess:

  sess.run(init_op)

  for _ in range(3):

    print sess.run(result)

这段代码有效。

问题是：这是预期的行为吗？为什么这里没有记录分配操作：https://www.tensorflow.org/versions/0.6.0/api_docs/index.html

这是一个不推荐的操作吗？

Answer 1

tf.assign() 和documented in the latest versions 很好，在项目中经常使用。

这个操作在赋值完成后输出“ref”。这使得 更容易链接需要使用重置值的操作。

简单地说，它需要你原来的张量和一个新的张量。它使用新值更新张量的原始值并返回原始张量的引用。

Answer 2

tf.assign() 运算符是实现Variable.assign() 方法的底层机制。它接受一个可变张量（类型为tf.*_ref）和一个新值，并返回一个已用新值更新的可变张量。提供返回值是为了更容易在后续读取之前对分配进行排序，但此功能没有很好的文档记录。一个例子有望说明：

v = tf.Variable(0)
new_v = v.assign(10)
output = v + 5  # `v` is evaluated before or after the assignment.

sess.run(v.initializer)

result, _ = sess.run([output, new_v.op])
print result  # ==> 10 or 15, depending on the order of execution.

---

v = tf.Variable(0)
new_v = v.assign(10)
output = new_v + 5  # `new_v` is evaluated after the assignment.

sess.run(v.initializer)

result = sess.run([output])
print result  # ==> 15

在您的代码示例中，数据流依赖项强制执行[read counter] -> new_counter = tf.add(...) -> tf.assign(...) -> [read output of assign] -> result = tf.add(...) 的顺序，这意味着语义是明确的。 但是，更新计数器的读取-修改-写入步骤效率较低，并且在同时运行多个步骤时可能会出现意外行为。例如，访问同一个变量的多个线程可以观察到计数器向后移动（在较旧值在较新值之后写回的情况下）。

我建议你使用Variable.assign_add()来更新计数器，如下：

counter = tf.Variable(0, name="counter")

one = tf.constant(1)
ten = tf.constant(10)

# assign_add ensures that the counter always moves forward.
updated_counter = counter.assign_add(one, use_locking=True)

result = tf.add(updated_counter, ten)
# ...