Keras 实现中的 LSTM 架构？

Question

我是Keras 的新手，我正在了解Keras documentation 中的LSTM 及其实现细节。这很容易，但突然间我看到了this SO 的帖子和评论。它让我对实际的 LSTM 架构感到困惑：

代码如下：

model = Sequential()
model.add(LSTM(32, input_shape=(10, 64)))
model.add(Dense(2))

据我了解，10 表示编号。时间步长，每一个都被馈送到各自的LSTM cell； 64 表示编号。每个时间步的特征。

但是，上面帖子中的评论和实际答案让我对 32 的含义感到困惑。

另外，LSTM 的输出如何连接到Dense 层。

手绘的图解说明对架构的可视化很有帮助。

编辑：

就this another SO帖子而言，32表示return_sequences=True中每个产生的输出向量的长度。

如果这是真的，那么我们如何将 10 个 LSTM 单元产生的每个 32 维输出连接到下一个密集层？

另外，请告知第一个 SO 帖子答案是否模棱两可？

Answer 1

我们如何连接每个产生的 32 维输出 10 个 LSTM 单元到下一个密集层？

这取决于你想怎么做。假设你有：

model.add(LSTM(32, input_shape=(10, 64), return_sequences=True))

然后，该层的输出形状为(10, 32)。此时，您可以使用Flatten 层来获取带有320 分量的单个向量，或者使用TimeDistributed 独立处理每个10 向量：

model.add(TimeDistributed(Dense(15))

该层的输出形状为(10, 15)，并且相同的权重应用于每个LSTM单元的输出。

很容易找出号码。输入所需的 LSTM 单元数（以时间跨度指定）

如何确定号码。输出中需要多少个 LSTM 单元？

根据return_sequences 的值，您要么获得最后一个 LSTM 单元（最后一个时间步）的输出，要么获得每个LSTM 单元的输出。至于输出向量的维度，这只是你必须做出的选择，就像密集层的大小，或者卷积层中的过滤器数量一样。

来自 10 个 LSTM 单元的 32 维向量中的每一个如何连接到 TimeDistributed 层？

按照前面的示例，您将拥有一个 (10, 32) 张量，即 10 个 LSTM 单元中的每个单元都有一个大小为 32 的向量。 TimeDistributed(Dense(15)) 所做的是创建一个 (15, 32) 权重矩阵和一个大小为 15 的偏置向量，然后：

for h_t in lstm_outputs:
    dense_outputs.append(
        activation(dense_weights.dot(h_t) + dense_bias)
    )

因此，dense_outputs 的大小为 (10, 15)，并且相同的权重独立应用于每个 LSTM 输出。

请注意，当您不知道需要多少时间步时，一切仍然有效，例如用于机器翻译。在这种情况下，您使用None 作为时间步长；我写的所有内容仍然适用，唯一的区别是时间步数不再固定。 Keras 将根据需要重复 LSTM、TimeDistributed 等多次（取决于输入）。