为了解决RNN的长时依赖的问题。RNN无法保存较长的时间的信息,因为梯度消失问题。
LSTM引入了门控单元的机制,也就是添加了C这条通路,使得可以较长长时间保存信息。
LSTM网络细节
LSTM单元(unit)一般由一个细胞(cell),一个输入门 (inputgate),一个输出门(outputgate)和一个遗忘门 (forgetgate)组成. •细胞能够记住任意时间间隔上的值,三个门能够控制进出细胞的 信息流动。

引入了“门”机制对细胞状态信息进行添加或删除,实现长时记忆。

•“门”机制由一个Sigmoid**函数层和一个向量点乘操作组成, •Sigmoid层的输出控制了信息传递的比例。
LSTM网络细节
下面对门一一介绍:

1.遗忘门

LSTM通过遗忘门(forget gate)实现对细胞状态信息 遗忘程度的控制,输出当前状态的遗忘权重,取决于ht-1和????t。

LSTM网络细节

2.输入门

LSTM通过输入门(input gate)实现对细胞状态输入 接收程度的控制,输出当前输入信息的接受权重,取决于ht-1和 ????t
LSTM网络细节

3.输出门

LSTM通过输出门(output gate)实现对细胞状态输出 认可程度的控制,输出当前输出信息的认可权重,取决于ht-1和 ????t。
LSTM网络细节

状态的更新

取决于遗忘门和输入门
遗忘门输出的权重,作用于Ct-1,加上输入门,一起构成新的Ct
LSTM网络细节
LSTM网络细节

相关文章: