为了解决RNN的一些缺点,RNN与LSTM对比。
RNN学习(二)——LSTM
LSTM具体实现思路如下:
(1)C:控制参数
决定什么样的信息会被保留什么样的会被遗忘

RNN学习(二)——LSTM
RNN学习(二)——LSTM

丢弃的信息:

先把当前节点的输入和之前记忆的输入传递进来,然后通过sigmod函数组合起来后得到的函数值(0,1)之间,然后再跟Ct-1组合,决定丢弃什么信息。Ct是永远更新维护的值。
(2)保留的信息
RNN学习(二)——LSTM
(3)更新控制参数RNN学习(二)——LSTM
根据旧的控制参数Ct-1和新生成的更新控制参数C~t,共同决定此时此刻细胞的控制参数Ct。
遗忘的信息Cti-1和保留Ct的信息。先走遗忘的信息,再走保留的信息。Ct从开始到最后一直更新。
(4)LSTM的输出
RNN学习(二)——LSTM

相关文章:

  • 2022-12-23
  • 2021-11-02
  • 2021-09-14
  • 2021-06-13
  • 2021-10-27
  • 2021-07-21
  • 2022-03-01
猜你喜欢
  • 2021-06-12
  • 2021-04-07
  • 2021-06-10
  • 2021-07-13
  • 2021-09-02
  • 2022-01-08
  • 2021-10-15
相关资源
相似解决方案