tensorflow 如何确定将选择哪些 LSTM 单元作为输出？答案

【问题标题】：How does tensorflow determine which LSTM units will be selected as outputs?tensorflow 如何确定将选择哪些 LSTM 单元作为输出？
【发布时间】：2021-06-12 13:31:33
【问题描述】：

我使用以下代码创建了一个 LSTM 模型：

model = tensorflow1.keras.Sequential()

model.add(tensorflow1.keras.layers.LSTM(128, input_shape=(720, 4), return_sequences=True)) model.add(tensorflow1.keras.layers.LeakyReLU(alpha=0.5)) model.add(tensorflow1.keras.layers.LSTM(128, return_sequences=True)) model.add(tensorflow1.keras.layers.LeakyReLU(alpha=0.5)) model.add(tensorflow1.keras.layers.Dropout(0.3)) model.add(tensorflow1.keras.layers.LSTM(64, return_sequences=False)) model.add(tensorflow1.keras.layers.Dropout(0.3)) model.add(tensorflow1.keras.layers.Dense(1))

对于代码model.add(tf.keras.layers.LSTM(128, input_shape=(720,4), return_sequences=True))，在我的理解中，代码会有128个LSTM输出单元，一个输入720 个时间步长和 4 个特征的形状。根据 tensorflow keras 文档，单位是指“输出空间的维度”。 (https://www.tensorflow.org/api_docs/python/tf/keras/layers/LSTM)

我的问题是：在 720 个单元格中，作为输出单元的 128 个单元格中的哪一个会被选为输出单元格？ tensorflow如何选择选择哪些单元格作为输出？

【问题讨论】：

能否给出完整的型号代码？因为要了解您的问题，需要更多详细信息。但我认为 LSTM 可以返回整个隐藏状态序列。检查此blog from machine learning mastery。我认为它解决了您的疑问。
这是一个常见的误解，只有 128 个单元，而不是 720 个。每个单元都与输入完全连接。所以只有 128 个输出，而不是 720 个。TensorFlow 在这里没有选择任何东西。

标签： python tensorflow keras lstm

【解决方案1】：

第一层由 128 个 LSTM 单元组成。

每个单元格都会给出一个输出，作为后续层的输入。

由于您选择（正确）“return_sequences=True”，由于序列展开，每个 LSTM 单元将在每个时间步提供一个输出值。

因此，对于第一个 LSTM 层，对于 720 个时间步长中的每一个，您将有 128 个输出值（每个单元一个）。

也许这有助于理解： https://www.tensorflow.org/guide/keras/rnn

【讨论】：