如何在 Tensorflow 中使用 stop_gradient

Question

我想知道如何在 tensorflow 中使用stop_gradient，文档对我来说不是很清楚。

我目前正在使用stop_gradient 来生成损失函数 w.r.t 的梯度。 CBOW word2vec 模型中的词嵌入。我只想获得价值，而不是进行反向传播（因为我正在生成对抗性示例）。

目前，我正在使用代码：

lossGrad = gradients.gradients(loss, embed)[0]
real_grad = lossGrad.eval(feed_dict)

但是当我运行它时，它无论如何都会进行反向传播！我做错了什么，同样重要的是，我该如何解决这个问题？

澄清：为了澄清“反向传播”，我的意思是“计算值和更新模型参数”。

更新

如果我在第一个训练步骤之后运行上面的两行代码，我在 100 个训练步骤之后得到的损失与我不运行这两行代码时不同。我可能从根本上误解了 Tensorflow。

我尝试在图形声明的开头和每个训练步骤之前都使用set_random_seed 进行设置。多次运行之间的总损失是一致的，但在包括/排除这两条线之间却不一致。因此，如果不是 RNG 导致了差异，也不是训练步骤之间模型参数的意外更新，您知道什么会导致这种行为吗？

解决方案

Welp，这有点晚了，但这是我解决它的方法。我只想优化一些但不是全部变量。我认为防止优化某些变量的方法是使用stop_grad - 但我从来没有找到一种方法来实现这一点。也许有一种方法，但对我有用的是调整我的optimizer 以仅优化变量列表。所以而不是：

opt = tf.train.GradientDescentOptimizer(learning_rate=eta)
train_op = opt.minimize(loss)

我用过：

opt = tf.train.GradientDescentOptimizer(learning_rate=eta)
train_op = opt.minimize(loss, var_list=[variables to optimize over])

这阻止了opt 更新不在var_list 中的变量。希望它也对你有用！

Answer 1

tf.stop_gradient 提供了一种在反向传播期间不计算某些变量的梯度的方法。

例如，在下面的代码中，我们有三个变量，w1、w2、w3 和输入 x。损失是square((x1.dot(w1) - x.dot(w2 * w3)))。我们希望将此损失最小化为w1，但希望保持w2 和w3 不变。为此，我们只需输入tf.stop_gradient(tf.matmul(x, w2*w3))。

在下图中，我将w1、w2 和w3 从它们的初始值绘制为训练迭代的函数。可以看出w2和w3保持不变，而w1一直变化直到等于w2 * w3。

显示 w1 只学习但不学习 w2 和 w3 的图像：

import tensorflow as tf
import numpy as np

w1 = tf.get_variable("w1", shape=[5, 1], initializer=tf.truncated_normal_initializer())
w2 = tf.get_variable("w2", shape=[5, 1], initializer=tf.truncated_normal_initializer())
w3 = tf.get_variable("w3", shape=[5, 1], initializer=tf.truncated_normal_initializer())
x = tf.placeholder(tf.float32, shape=[None, 5], name="x")


a1 = tf.matmul(x, w1)
a2 = tf.matmul(x, w2*w3)
a2 = tf.stop_gradient(a2)
loss = tf.reduce_mean(tf.square(a1 - a2))
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
gradients = optimizer.compute_gradients(loss)
train_op = optimizer.apply_gradients(gradients)

Answer 2

tf. gradients(loss, embed) 计算张量 loss 相对于张量 embed 的偏导数。 TensorFlow 通过反向传播计算这个偏导数，因此评估tf. gradients(...) 的结果执行反向传播是预期的行为。但是，评估该张量不会执行任何变量更新，因为表达式不包含任何 assignment operations。

tf.stop_gradient() 是一个操作，它在正向方向上充当恒等函数，但阻止累积梯度在反向方向上流过该算子。它不会完全阻止反向传播，而是阻止单个张量对为表达式计算的梯度做出贡献。 documentation for the operation 有更多关于操作的详细信息，以及何时使用它。