张量流图中的梯度是否计算不正确？

Question

tensorflow 中一个非常简单的例子：min (x + 1)^2 其中x 是一个标量。代码是：

import tensorflow as tf

x = tf.Variable(initial_value=3.0)
add = tf.add(x, 1)
y = tf.square(add)
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(y)

然后将图形写入磁盘：

graph = tf.get_default_graph()
writer = tf.summary.FileWriter("some/dir/to/write/events")
writer.add_graph(graph=graph)

最后，在 tensorboard 中可视化，如下所示：

问题是，为什么“添加”节点与渐变相连？我认为既然我试图最小化 y，那么“Square”节点应该是。这是一个错误吗？谁能解释一下？

Answer 1

不涉及任何错误。您只需要了解什么是梯度并知道如何自己计算。所以(x+1)^2' = 2*(x+1)。这意味着您不需要计算(x+1)^2 来计算梯度。如果你放大渐变部分，你会看到它计算了你的正方形的渐变，并确定它在那里需要图形的哪一部分：

这里有一个更有趣、更直观的例子：

import tensorflow as tf

x = tf.Variable(initial_value=3.0)
y = tf.cos(x)

train = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(y)

with tf.Session() as sess:
    writer = tf.summary.FileWriter('logs', sess.graph)
    writer.close()

你应该知道cos(x)' = - sin(x)。这意味着只需要x 来计算梯度。这就是你在图中看到的：