双向、深层循环神经网络

• 双向RNN可以让某一单元的输出不仅可以考虑之前的信息，也可以考虑后面时间步的信息。前向传播分为从左向右，从右向左两部分，这样，隐藏层神经元会产生两个激活值，均对输出有影响。
• 对很多NLP问题，双向带有LSTM的RNN用的最多。缺点是必须获取整个序列才能获得输出。
• 如果要学习复杂的函数，需要将更多层堆叠起来构建更深的模型。a^[l]<t>,l表示l层，t表示时间步。
• 一般在垂直方向三层以后不再水平连接。尽管看起来没有多少循环层，但是需要大量的时间训练。