tf.gradients(model.output, model.input) 每次运行时都会计算不同的值

Question

我正在尝试计算输出层相对于输入层的梯度。我的神经网络相对较小（输入层由 9 个激活单元和 1 个输出层组成）并且训练进行得很好，因为测试提供了非常好的准确性。我使用 Keras 制作了 NN 模型。

为了解决我的问题，我需要计算输出相对于输入的梯度。也就是说，我需要获得作为维度 [1x9] 的雅可比行列式。 tensorflow 中的渐变函数应该为我提供所需的一切，但是当我运行下面的代码时，每次都会获得不同的解决方案。

output_v = model.output
input_v = model.input
gradients = tf.gradients(output_v, input_v)

sess = tf.Session()
sess.run(tf.initialize_all_variables())

print(sess.run(model.input,feed_dict={model.input:x_test_N[0:1,:]}))
evaluated_gradients = sess.run(gradients,feed_dict{model.input:x_test_N[0:1,:]})
print(evaluated_gradients)

sess.close()

第一个打印命令在我每次运行时都会显示这个值（只是为了确保输入值没有被修改）：

[[-1.4306372 -0.1272892  0.7145787  1.338818  -1.2957293 -0.5402862-0.7771702 -0.5787912 -0.9157122]]

但第二个打印显示不同的：

[[ 0.00175761, -0.0490326 , -0.05413761,  0.09952173,  0.06112418, -0.04772799,  0.06557006, -0.02473242,  0.05542536]]

[[-0.00416433,  0.08235116, -0.00930298,  0.04440641,  0.03752216, 0.06378302,  0.03508484, -0.01903783, -0.0538374 ]]

使用有限差分，evaluate_gradients[0,0] = 0.03565103，这与之前打印的任何第一个值都不接近。

感谢您的宝贵时间！

阿尔伯托

---

通过在训练我的模型之前创建一个特定的会话来解决：

sess = tf.Session()
sess.run(tf.global_variables_initializer())
K.set_session(sess)

history = model.fit(x_train_N, y_train_N, epochs=n_epochs,
                    validation_split=split, verbose=1, batch_size=n_batch_size,
                    shuffle='true', callbacks=[early_stop, tensorboard])

并在训练后评估梯度，同时 tf.session 仍处于打开状态：

evaluated_gradients = sess.run(K.gradients(model.output, model.input), feed_dict={model.input: x_test_N})

Answer 1

大概您的网络设置为将权重初始化为随机值。当您运行 sess.run(tf.initialize_all_variables()) 时，您正在将变量初始化为新的随机值。因此，您在每次运行中都会得到不同的 output_v 值，从而得到不同的梯度。如果你想使用你之前训练过的模型，你应该用一个 restore 命令替换初始化为 initialize_all_variables()。我不熟悉在 Keras 中是如何完成的，因为我通常直接使用 tensorflow，但我会尝试 this。

还要注意initialize_all_variables is deprecated，您应该改用 global_variables_initializer。