如何连接两个模型

Question

我有模型 A（自动编码器），它将一批图像 A_in（原始图像）作为输入，并输出一批图像 A_out（重建图像）。然后我有模型 B（二元分类器），它将一批图像 B_in 作为输入，它是 A_in 和 A_out 的混合。

我想让 B 区分 A_in 和 A_out，看看 A 是否在重建图像方面做得很好。 B_out 是给定图像是 A_in 的概率。

B 与 A 并行训练以对两种图像进行分类。 B_loss = (B_out - 标签)。标签为 0 或 1（原始或重建）。当我们优化 B_loss 时，我们只更新 B 参数。

我想训练模型 A 以优化组合损失函数：Combined_Loss = 重建误差 (A_out - A_in) - 分类误差 (B_out - 标签)，以便它尝试重建图像并同时愚弄 B时间。这里我只想更新A参数（这里我们不想帮助B）。

现在，我的问题是关于构建 A_in 和 A_out 的混合物，并将其馈送到 B 以便图 A 和 B 连接起来。

现在是这样的：

A_out = autoencoder(A_in: orig_images)
B_out = classifier(B_in: numpy(mix(A_in, A_out))

我该如何定义它：

A_out = autoencoder(A_in: orig_images)
B_out = classifier(mix(A_out, A_in))

这样当我同时训练 A 和 B 时：

sess.run([autoencoder_train_op, classifier_train_op], feed_dict=
            {A_in: orig_images, B_in: classifier_images, labels: classifier_labels})

我不需要 B_in 占位符（图表将被连接）？

这是我构造分类器图像的 Numpy 代码 (mix(A_in, A_out))：

reconstr_images = sess.run(A_out, feed_dict={A_in: orig_images})

half_and_half_images = np.concatenate((reconstr_images[:batch_size/2], orig_images[batch_size/2:]))

half_and_half_labels = np.zeros(labels.shape)
half_and_half_labels[batch_size/2:] = 1

random_indices = np.random.permutation(batch_size)

classifier_images = half_and_half_images[random_indices]
classifier_labels = half_and_half_labels[random_indices]

如何将其转换为 TensorFlow 节点？

Answer 1

您可以直接连接模型。换句话说，B 的输入不使用占位符，而是使用 A_in 和 A_out 的混合。如果您只想运行 B，您仍然可以将输入输入来自 A 的张量。只输入占位符很常见，但 TensorFlow 支持将值输入任何张量。如果它更容易考虑，您可以通过 tf.identity 传递 A 的输出，这样您就有了类似于占位符的东西。

另一种方法是通常在 GAN 中完成的（将生成器输出馈送到鉴别器中）。您可以创建两个共享变量的操作“塔”。一个塔将只是 B，您可以将输入输入 B 的占位符以仅运行 B。另一个塔可以是 A 顶部的 B，您可以使用它来运行/训练 A 和 B。这两个塔中的 B 将具有相同的结构并共享变量，但具有独立的操作。这种方法可能是最干净和最灵活的。