参考博客:LSTM的公式推导详解

下面贴出一些关键的推导图片:

Forward Pass :

其中涉及三个Gate和中间Cell的计算,需要注意的是三个Gate使用的**函数是f,而Input的**函数是g、Cell输出的**函数是h

LSTM 前向 & 后向公式推导

 

LSTM 前向 & 后向公式推导

 

 

反向传播中需要更新的 —> 所有梯度:

LSTM 前向 & 后向公式推导

 

Backpass

第一下,从外部输出到  Cell Output的梯度 

LSTM 前向 & 后向公式推导

 

最后一步 汇总:

LSTM 前向 & 后向公式推导

 

LSTM 前向 & 后向公式推导

 

 

相关文章:

  • 2021-12-14
  • 2021-12-20
  • 2022-02-05
  • 2021-04-13
  • 2021-05-04
  • 2021-09-05
猜你喜欢
  • 2022-12-23
  • 2021-09-24
  • 2022-12-23
  • 2021-07-08
  • 2021-11-29
  • 2021-08-23
  • 2022-12-23
相关资源
相似解决方案