一.CSRN（The CSRN is a combination of a simultaneous recurrent
network (SRN) and a cellular network (CNN) ）
The CNN, on the other hand consists of identical elements
arranged in some geometric pattern [8]. Each element can
either be a single neuron or an entire network in itself. The
symmetry of this structure allows weight sharing between
different elements. This can significantly decrease the number
of weights, as well as the time needed to train the network.
The symmetry of CNNs can also be useful in solving problems
that contain a similar type of inherent geometry. The
composition of a CNN is shown in Fig. 2.
By making each CNN cell an SRN network, we can
combine the two and obtain a cellular simultaneous recurrent
network (CSRN). Fig. 3 exhibits the CSRN architecture as
applied to the maze problem. Here the geometry of the maze is
reflected in the CSRN where each maze cell is a represented by
a SRN (grey box). This way the input pattern of the maze can
be fed directly to the network. The SRNs are combined into a
CNN structure, and their outputs are brought together to
produce an overall network output.
以上内容取自于Large Pose Invariant Face Recognition UsingFeature-based Recurrent Neural Network这篇paper的内容
------------------------------------这里是萌萌哒
分割线---------------------------------------
二、LSTM(长短期存储记忆网络)
对于LSTM来说，输入与输出之间的关系可以有：多对一、多对多。
------------------------------------这里是萌萌哒分割线---------------------------------------
四、GRU(Gated Recurrent Unit)
GRU（Gated Recurrent Unit） 是由 K.Cho 在"Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation, 2014"中提出的。它是 LSTM 的简化版本，但在大多数任务中其表现与 LSTM 不相伯仲，因此也成为了常用的 RNN 算法之一。
GRU 的具体结构与对应的公式如下：
其中，分别被称为 Reset Gate 和 Update Gate。可以看出，GRU 与 LSTM 有一定的相似性，而区别主要在于：
-
LSTM 有三个 Gate，而 GRU 仅两个
-
GRU 没有 LSTM 中的 Cell，而是直接计算输出
-
GRU 中的 Update Gate 类似于 LSTM 中 Input Gate 和 Forget Gate 的融合；而观察它们结构中与上一时刻相连的 Gate，就能看出 LSTM 中的 Forget Gate 其实分裂成了 GRU 中的 Update Gate 和 Reset Gate
很多实验都表明 GRU 跟 LSTM 的效果差不多，而 GRU 有更少的参数，因此相对容易训练且过拟合的问题要轻一点，在训练数据较少时可以试试。
------------------------------------这里是萌萌哒三、DRNN
------------------------------------这里是萌萌哒分割线---------------------------------------
四、BidirectionRNN(双向循环神经网络)
------------------------------------这里是萌萌哒分割线---------------------------------------
五、PramidalRNN
------------------------------------这里是萌萌哒分割线---------------------------------------
尾巴
除了文中提到的几种架构，RNN 还有其它一些变化。但总体而言 RNN 架构的演进暂时要逊色于 CNN，暂时常用的主要是 LSTM 和 GRU。同样，也是由于 RNN 可讲的比 CNN 少些，本次就只用一篇文章来介绍 RNN，内容上进行了压缩。但是这不代表 RNN 简单，相反不论是理论还是应用上，使用 RNN 的难度都要比 CNN 大不少。