LSTM过程推导

1、LSTM的推导过程：

2、这篇文章很好的解释了为什么需要明确区分RNN以及LSTM的output 和hidden state。https://www.jianshu.com/p/03c33b76b9b2

对于单层RNN，hidden state == output[-1]。对于多层RNN，不等。

单层LSTM，pytorch 的输出是output和（ht，ct），是一个sequence和一个tuple。