Keras：了解嵌入层在条件 GAN 中的作用

Question

我正在努力理解 Erik Linder-Norén 的 implementation of the Categorical GAN model，但对该模型中的生成器感到困惑：

def build_generator(self):
    model = Sequential()
    # ...some lines removed...    
    model.add(Dense(np.prod(self.img_shape), activation='tanh'))
    model.add(Reshape(self.img_shape))
    model.summary()

    noise = Input(shape=(self.latent_dim,))
    label = Input(shape=(1,), dtype='int32')
    label_embedding = Flatten()(Embedding(self.num_classes, self.latent_dim)(label))
    model_input = multiply([noise, label_embedding])
    img = model(model_input)

    return Model([noise, label], img)

我的问题是：Embedding() 层在这里是如何工作的？

我知道noise 是一个长度为100 的向量，label 是一个整数，但我不明白label_embedding 对象包含什么或它在此处的作用。

我尝试打印label_embedding 的形状以尝试找出Embedding() 行中发生的情况，但返回(?,?)。

如果有人可以帮助我了解这里的 Embedding() 行是如何工作的，我将非常感谢他们的帮助！

Answer 1

记住为什么要在这里使用嵌入：另一种方法是将噪声与条件类连接起来，这可能会导致生成器完全忽略噪声值，从而在每个类中生成具有高度相似性的数据（甚至只是每班 1 个）。

Answer 2

来自文档，https://keras.io/layers/embeddings/#embedding，

将正整数（索引）转换为固定大小的密集向量。 例如。 [[4], [20]] -> [[0.25, 0.1], [0.6, -0.2]]

在 GAN 模型中，输入整数（0-9）被转换为形状为 100 的向量。使用这个短代码 sn-p，我们可以提供一些测试输入来检查嵌入层的输出形状。

from keras.layers import Input, Embedding
from keras.models import Model
import numpy as np
latent_dim = 100
num_classes = 10
label = Input(shape=(1,), dtype='int32')
label_embedding = Embedding(num_classes, latent_dim)(label)
mod = Model(label, label_embedding)
test_input = np.zeros((1))
print(f'output shape is {mod.predict(test_input).shape}')
mod.summary()

输出形状为 (1, 1, 100)

根据模型摘要，嵌入层的输出形状为 (1,100)，与预测的输出相同。

embedding_1（嵌入）（无, 1, 100） 1000

另外一点，在输出形状(1,1,100)中，最左边的1是batch size，中间的1是输入长度。在这种情况下，我们提供了长度为 1 的输入。

Answer 3

嵌入存储每个标签的状态。如果我正确阅读代码，每个标签对应一个数字；即有一个嵌入可以捕获如何生成 0、1、... 9。

此代码采用一些随机噪声并将其与每个标签状态相乘。结果应该是一个向量，引导生成器显示标签对应的数字（即0..9）。