lstm学习

讲的特别好的lstm：lstm介绍

1.simpleRNN

2.standardRNN

使用了隐含层的信息

3.

信息的表示：c^(t) = f(W.x(t) + U.y(t-1))

长时记忆单元：C(t) = gforget*C(t-1) + gin*c^(t)

输出：y(t) = gout*f(C(t))

隐状态：h(t) = y(t)

其中，gin,gout,gforget是三个控制门,控制门的取值范围是0-1，因此使用sigmoid为**函数。

 

4.

LSTM数学推导