Recurrent Convolutional Neural Networks for Text Classification阅读笔记

RCNN

Model

Word Representation Learning

使用的双向RNN
$c_l(w_i)$cl​(wi​)表示词$w_i$wi​左边上下文, $c_r(w_i)$cr​(wi​)表示右边上下文, 计算方式如下:

$e(w_{i-1})$e(wi−1​)代表第i-1个词的word embedding.
每个词的最终表示:

再接一个全连接作为输出:

Text Representation Learning

对上一层的输出做max-pooling

实验

参数设置

optimizer: SGD
learning rate: 0.01
embedding: 50
hidden layer($y^{(3)}的维度$y(3)的维度): 100