参考
华为云学院
HMM
条件随机场
RNN
不同于传统的机器翻译模型，RNN有能力将语料集中的全部前序词汇纳入模型的考虑范围。传统的机器翻译模型仅仅考虑有限的前缀词汇信息作为语义模型的条件项。
LSTM
长短期记忆网络（Long Short Term Memory，LSTM）：一种特殊的RNN，可以学习长期依赖信息。
GRU
GRU可以看成是LSTM的变种，GRU把LSTM的遗忘门和输入门用更新门替代。把cell state和隐状态ht进行合并，在计算当前时刻新信息的方法和LSTM有所不同。
双向RNN
在经典循环神经网络中，状态的传输从前往后单向传输。然而在有些问题中，当前时刻的输出不仅和前一刻的状态有关系，也和之后的状态相关。这时需要双向RNN（BiRNN）。