Keras 中 LSTM 的数学公式？

Question

根据wikipedia-lstm-math-equation的数学公式，如下图，

应该只有隐藏状态h_t 和单元状态c_t。但是，当我尝试在 Keras 上编写 RNN 代码时，出现了三个：lstm_output、state_h 和state_c。

我现在想知道lstm_output 的数学公式是什么？ 这是我的代码：

from keras.layers import Input, LSTM

lstm_input = Input(shape=(28, 10))

lstm_output, state_h, state_c = LSTM(units=32,
                                     return_sequences=True,
                                     return_state=True,
                                     unroll=True)(lstm_input)
print(lstm_output, state_h, state_c)

它给了

Using TensorFlow backend.

(<tf.Tensor 'lstm_1/transpose_1:0' shape=(?, 28, 32) dtype=float32>, <tf.Tensor 'lstm_1/mul_167:0' shape=(?, 32) dtype=float32>, <tf.Tensor 'lstm_1/add_221:0' shape=(?, 32) dtype=float32>)

Answer 1

让我们分解一下，从源代码中查看this line - return h, [h, c]：

• lstm_output: 是每个时间步的h。所以它的形状是(batch_size, sequence_length, hidden_size)，在你的例子中是(?, 28, 32)。正如documentation 所说，它作为一个序列返回，因为您设置了return_sequences=True。
• state_h: 是 last 时间步的h，如果可以检查，它应该等于lstm_output[:,-1]。注意为什么它的形状是(?, 32)，因为它是最后一个时间步的输出，而不是每个时间步的输出。
• state_c: 是 last 时间步的c。

方程通常以不同的方式实现以优化某些功能，但它们都遵循original paper。请注意，激活可能会有所不同，例如使用hard_sigmoid 进行循环激活，这些应在文档中明确注明。