最近 有同学 问我,LSTM是怎么回事,我就 总结一下,方便大家学习

参考大神的解读:https://colah.github.io/posts/2015-08-Understanding-LSTMs/

另外就是 还有 吴老师的视频,现讲解如下:

下图是吴老师课程的图:

LSTM详解

通过门,LSTM可以增加或者去除 cell_state(也就是上图中的c)的信息。门使用sigmoid函数,其值是[0,1],0: 任何信息不通过;1:所有信息均通过 .

接下来,我还是 盗用 大神解读过程中 的图 来加以说明。

遗忘门(forget gate):决定 什么信息需要从 cell_state中删除,0:将Ct-1的值删除,1:保留Ct-1的值。

LSTM详解

 更新门(update gate):决定 哪些新的信息需要增加至 cell_state中

LSTM详解

两部分:it 决定了哪些值需要更新,而 接下来的tanh产生新的候选项ctLSTM详解,其值需要加至state.把这两项结合起来形成一个 update state。替换遗忘门的值(old state)

 

遗忘门与更新门计算

使用ft 点乘Ct-1 忘记早期我们需要忘记的事情,然后,加上 it *ctLSTM详解(该值是新的候选值按比例缩放,有多少值需要更新至每一个state).在此步中,实际操作的是删除旧信息,增加新信息的过程。

LSTM详解

输出门:

LSTM详解

 由上可知,最终输出ht 是基于cell state,而其中的tanh只是为了把值 缩放至[-1,1]的范围内,防止梯度问题发生,而Ot 使用了sigmoid函数(0:不输出;1:输出),决定了 我们需要输出的部分。

 

好了,lstm已经全部说完了,相信大家对lstm已经有了新的认识吧

 

知乎:https://zhuanlan.zhihu.com/albertwang

微信公众号:AI-Research-Studio

LSTM详解

 

如果觉得写的好,就赞赏一下吧

LSTM详解

 

相关文章:

  • 2021-07-07
  • 2021-10-06
  • 2021-10-30
  • 2021-10-06
  • 2021-10-28
  • 2021-08-21
猜你喜欢
  • 2022-01-16
  • 2021-04-30
  • 2021-12-10
  • 2021-09-08
  • 2021-09-13
相关资源
相似解决方案