试图理解这个简单的 TensorFlow 代码

Question

我对深度学习很感兴趣，最近发现了 TenserFlow。我安装了它并按照https://www.tensorflow.org/get_started/get_started 上的教程进行操作。

这是我按照该教程提出的代码：

import tensorflow as tf
W = tf.Variable(0.3, tf.float32)
b = tf.Variable(-0.3, tf.float32)
x = tf.placeholder(tf.float32)
y = tf.placeholder(tf.float32)
linear_model = W * x + b
squared_deltas = tf.square(linear_model - y)
loss = tf.reduce_sum(squared_deltas)
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)
sess.run(init)
for i in range(1000):
    sess.run(train, {x:[1,2,3,4], y:[0,-1,-2,-3]})

print(sess.run([W, b]))

目前，我只对训练之前的代码感兴趣，以免不知所措。

现在，我了解（或至少我认为我了解）这段代码的部分内容。它按照教程产生了预期的结果，但是这段代码中的大多数行都让我感到困惑。这可能是因为我不熟悉所涉及的数学，但我不知道这里实际涉及到多少数学，所以很难判断这是否是问题所在。

无论如何，我理解前 6 行。 然后是这一行：

squared_deltas = tf.square(linear_model - y)

据我了解，它只是返回 (linear_model - y) 的平方 但是， y 还没有值。

然后，loss 被赋值为 tf.reduce_sum(squared_deltas)。我知道损失需要尽可能低。

我如何解释最后两行？

我有点理解 tf.Session() 和 tf.global_variables_initializer() 所以我现在不太关心这两个函数。

额外问题：在任一方向（增加或减少）更改 tf.train.GradientDescentOptimizer() 参数中的值都会给我错误的结果。为什么 0.01 有效，而 0.1，0.001 无效？

感谢我能得到的任何帮助！ 谢谢

Answer 1

据我了解，它只是返回 (linear_model - y) 的平方但是，y 还没有值。 然后，loss 被赋值为 tf.reduce_sum(squared_deltas)。我知道损失需要尽可能低。 我该如何解释最后两行？

您显然需要浏览 TensorFlow 文档。您错过了 TF 背后的核心思想 - 它定义了 计算图，此时不涉及计算，您是对的 - 还没有“y”，至少没有值 - 它只是一个符号变量（占位符）因此我们说我们的损失将是预测和真实值（y）之间差异的平方的平均值，但我们还没有提供它。实际值在会话中开始“活跃”，在此之前这只是计算图，TF 的指令，因此它知道“预期什么”。

额外问题：在任一方向（增加或减少）更改 tf.train.GradientDescentOptimizer() 参数中的值都会给我错误的结果。为什么 0.01 有效，而 0.1，0.001 无效？

如果学习率足够小并且您有足够的迭代次数，线性回归（您正在使用的）会收敛。 0.1 可能太大了，0.01 很好，0.001 也很好，0.001 只需要超过 1000 次迭代，但它会起作用（任何较小的值也会起作用，但同样 - 慢得多）。