最近在看吴恩达老师的深度学习视频课，吴老师没有给出RNN反向传播的推导过程，虽然并不影响后面的学习，但是本人有个习惯就是拿来用的东西一定要自己搞清楚原理。虽然这个习惯并不一定是好事。通过查了一些资料，把基本的RNN反向传播弄清楚了，其他的RNN变体，按照这个思路就是堆砌网络复杂度，应该不难。
经典神经网络反向传播我就不赘述了，我的推导是建立在熟悉经典神经网络反向传播的基础上的，不懂的同学可以去查阅资料。
话不多说，本人比较懒，而且发帖不多。毕业多年，公式编辑器也忘了差不多。手写推导图片两页，勿怪。