【NLP复习】CNN（TextCNN）、RNN、LSTM、GRU

一、CNN（TextCNN）

TextCNN跟传统CNN的区别：卷积核不是正方形的，宽度跟词向量维度相等。

二、RNN

缺陷：长期依赖不大行；反向传播时前面梯度为后面梯度联乘，依赖于**函数和网络初始参数，可能会梯度消失（sigmoid）或者爆炸（relu）。

三、LSTM

第一步：忘记门，决定细胞状态需要丢弃哪些信息。ft输出0-1的数。极端情况，0表示不保留，1表示都保留。

第二步，输入门，决定给细胞状态添加哪些新的信息。

第三步，将前两步信息结合。

第四步，输出门。

 

四、GRU（LSTM的变种）

【参考资料】

• https://www.jianshu.com/p/95d5c461924c