LSTM学习总结

LSTM

一般结构

Forget Gate Layer

Detail

$f_{t}=\sigma (W_{f}*[h_{t-1},x_{t}]+b_f)$ft​=σ(Wf​∗[ht−1​,xt​]+bf​)
决定信息保留程度,“1”代表完全保留，“0”代表完全舍弃

Input Gate Layer

Detail

$i_t=\sigma (W_i*[h_{t-1},x_t]+b_i)$it​=σ(Wi​∗[ht−1​,xt​]+bi​)
$C_t^{'}=tanh (W_i*[h_{t-1},x_t]+b_i)$Ct′​=tanh(Wi​∗[ht−1​,xt​]+bi​)

Next

$C_t=f_t*C_{t-1}+i_t*C_t{'}$Ct​=ft​∗Ct−1​+it​∗Ct​′

Output Gate Layer

Detail

$o_t=\sigma (W_o*[h_{t-1},x_t]+b_o)$ot​=σ(Wo​∗[ht−1​,xt​]+bo​)
$h_t=o_t*tanh (C_t)$ht​=ot​∗tanh(Ct​)

一些变形

将$C_{t-1}$Ct−1​考虑进来

$f_{t}=\sigma (W_{f}*[h_{t-1},x_{t},C_{t-1}]+b_f)$ft​=σ(Wf​∗[ht−1​,xt​,Ct−1​]+bf​)
$i_t=\sigma (W_i*[h_{t-1},x_t,C_{t-1}]+b_i)$it​=σ(Wi​∗[ht−1​,xt​,Ct−1​]+bi​)
$o_t=\sigma (W_o*[h_{t-1},x_t,C_{t-1}]+b_o)$ot​=σ(Wo​∗[ht−1​,xt​,Ct−1​]+bo​)

默认$i_t=1-f_t$it​=1−ft​

$C_t=f_t*C_{t-1}+(1-f_t)*C_t{'}$Ct​=ft​∗Ct−1​+(1−ft​)∗Ct​′

Gated Recurrent Unit(GRU)

特点

1. 使用update gate代替forget & input gate
2. 合并cell state 和 hidden state

Details

From

http://colah.github.io/posts/2015-08-Understanding-LSTMs/