如何使用 Keras 在堆叠的 LSTM 中设置密集瓶颈？

Question

我有：

        self.model.add(Bidirectional(LSTM(lstm1_size, input_shape=(
            seq_length, feature_dim), return_sequences=True)))
        self.model.add(BatchNormalization())
        self.model.add(Dropout(0.2))

        self.model.add(Bidirectional(
            LSTM(lstm2_size, return_sequences=True)))
        self.model.add(BatchNormalization())
        self.model.add(Dropout(0.2))

        # BOTTLENECK HERE

        self.model.add(Bidirectional(
            LSTM(lstm3_size, return_sequences=True)))
        self.model.add(BatchNormalization())
        self.model.add(Dropout(0.2))

        self.model.add(Bidirectional(
            LSTM(lstm4_size, return_sequences=True)))
        self.model.add(BatchNormalization())
        self.model.add(Dropout(0.2))

        self.model.add(Dense(feature_dim, activation='linear'))

但是，我想设置类似autoencoder 的设置，而不必拥有 2 个单独的模型。在我有评论 BOTTLENECK HERE 的地方，我想要一个维度的向量，比如 bottleneck_dim。

之后，应该是一些 LSTM 层，然后重建一个与初始输入具有相同维度的序列。但是，我相信添加Dense 层不会返回一个向量，而是返回每个序列长度的向量？

Answer 1

• Dense 已更新为自动运行，就像使用 TimeDistributed 包裹一样 - 即您将获得 (batch_size, seq_length, lstm2_size)。
• 一种解决方法是在其前面放置一个Flatten()，因此Dense 的输出形状将是(batch_size, seq_length * lstm2_size)。但是，我不推荐它，因为它可能会破坏时间信息（您正在混合通道和时间步长）。此外，它将网络限制为seq_length，因此您不能再对任何其他seq_length 进行训练或推理。

首选的替代方法是Bidirectional(LSTM(..., return_sequences=False))，它只返回最后一个时间步的输出，形状为(batch_size, lstm_bottleneck_size)。要将其输出提供给下一个 LSTM，您需要在 =False 层之后添加 RepeatVector(seq_length)。

不过，请注意“瓶颈”的程度；例如如果(seq_length, feature_dim) = (200, 64) 和lstm_bottleneck_size = 400，那就是(1 * 400) / (200 * 64) = x32 减少，这是相当大的，可能会压倒网络。我建议以 x8 为目标。