RNN模型示例：
ht=σ（W(hh)ht-1+W(hx)xt）
y^=softmax(W(S)ht)
- RNN常用Cross Entropy error作为损失函数，在某个时间步t的损失函数（j遍历维度）
在大小为T的corpus上的误差： - 反向传播图示
为了计算RNN误差dE/dw，需要把每一个时间步的误差（dEt/dw）进行加和，误差对参数求梯度的公式如下：
注意dht/dhk是指ht对所有先前k个时间步的偏导数
相关文章：
相似解决方案
热门标签
RNN模型示例：
ht=σ（W(hh)ht-1+W(hx)xt）
y^=softmax(W(S)ht)
相关文章：