这一节主要讲解了深度RNN网络的结构。
左边是在一般的神经网络中DNN的结构,由输入经过多层网络最终得到输出
与此类似,Deep RNN也有类似的结构,之前的RNN网络都只是一层,如图画出了三层。
用a[l]<t>来表示第l层激励的第t个timestep
如图,在计算a[2]<3>的过程中,需要用到前面层的a[1]<3>和同一层前一个timestep的a[2]<2>
并且计算的参数Wa和ba在同一层的不同timestep都是相同的
前面所说的三层RNN网络既有横向连接,也有纵向连接。由于每层RNN的计算量都很大,因此在Deep RNN中较少出现像DNN一样的上百层等,3层的计算量已经很大。
但是可以在计算每个输入时加入纵向的层,这些层之间没有横向的连接关系。这样可以减少一些计算量来得到输出。