在 TensorFlow 中实施对抗训练

Question

我想为我的神经网络实现以下成本函数：

这利用神经网络的对抗性输入来改进泛化[ref]。

具体来说，我遇到了问题 部分。 在我的 TensorFlow 图中，我将 定义为一个操作。我怎样才能用 以外的参数来喂？

到目前为止，我发现这样做的唯一方法是定义一个并行网络，它与我的原始网络共享权重，并在其feed_dict 参数中传递。如果可能的话，我想避免重新定义我的整个网络。我该怎么做？

---

我的 TensorFlow 模型写成：

x = tf.placeholder(tf.float32, [None, 32, 32]);
... # A simple neural network
y = tf.add(tf.matmul(h, W1), b1);
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, t));

---

可能相关：

tf.stop_gradient(input, name=None)

停止梯度计算。

...还有很多东西...

• 对抗性训练，在对抗性示例生成过程中不应发生反向传播。

https://www.tensorflow.org/versions/r0.7/api_docs/python/train.html#stop_gradient

Answer 1

您需要以支持调用的方式编写模型

output = model.fprop(input_tensor)

或

output = model.fprop(input_tensor, params)

fprop 方法两次构建相同的前向传播表达式，但每次调用使用不同的输入张量：

raw_output = model.fprop(clean_examples)
adv_examples = ...
adv_output = model.fprop(adv_examples)

如果您想将此应用到我们的一个开源模型并且它不支持执行此操作的接口，请在 github 上提交问题。