个性化情感分析的三篇论文(UPNN、UPA、UPDMN)

一，Learning Semantic Representations of Users ans Products for Document Level Sentiment Classification(2015)

1. 模型结构

本文提出了：UPNN（User Product Neural Network），基于CNN模型。

核心参数主要有以下四个方面的参数：

• user-sentiment：$u_k$uk​，用户情感一致性，表示用户的个人偏好；
• product-sentiment：$p_j$pj​，产品情感一致性，表示产品的整体质量；
• user-text：$U_k$Uk​，用户文本一致性，主要用来修改某个词在某个特定用户下的语义，使评论文本语义更个性化；
• product-text：$P_j$Pj​，产品文本一致性，主要用来修改某个词在某个特定产品下的语义，使评论文本语义更个性化；

2. 实验结果

结果：UPNN模型在三个数据集上效果都是最好的。

结果：

• ($u_k,p_j$uk​,pj​)比($U_k,P_j$Uk​,Pj​)更有效，因为：

1. 前者是与sentiment label直接相关的；
2. 前者是向量表示，参数少，更易于估计。

• ($u_k,U_K$uk​,UK​)比($p_j,P_j$pj​,Pj​)更有效。

二，Neural Sentiment Classification with User and Product Attention(2016)

1. 模型结构

针对UPNN的缺陷：

• 在有限的数据下，每个用户和产品的偏好矩阵很难得到很好的训练；
• 用户和产品的特征应该反应在语义层次而不是词语层次上。

本文提出了：HierLSTM+UPA

词级别和句子级别的attention计算过程基本相同，过程如下：

2. 实验结果

结果：

• UPA通过利用全局用户偏好和产品特性，提出了user-product attentions；可以更好地将信息融合；
• 相比UPNN，UPA更易训练、更高效、效果也更好。

结果：

• 词级别的attention比句子级别的attention更有效；
• 用户的attention比产品的attention更有效。

三，Capturing User and Product Information for Document Level Sentiment Analysis with Deep Memory Network(2017)

1. 模型结构

本文提出了：UPDMN（User Product Deep Memory Netowork）

• U(d)={ud|ud is written by u,ud!=d}
• P(d)={pd|pd is written about p,pd!=d}

UPDMN：

1. 首先使用LSTM学习常用文档的向量语义表示集合{$d_i$di​}；

2. 然后应用包含多个计算层的深度记忆网络来预测文档的rating，每一层都是一个基于内容的注意力模型。

深度记忆网络的具体流程如下：

1. 记忆m的组成：$\{d_i\}${di​}经过输入嵌入矩阵$M_{input}$Minput​转换为$\{m_i\}${mi​}；
2. d首先经过$M_{input}$Minput​转换为内部特征表示向量$q$q；
3. 然后通过Attention model计算出q与$\{m_i\}${mi​}的相似度，作为注意力机制的权重分布：$\{p_i\}${pi​}（计算相似度的时候，只用计算{$m_i$mi​}中属于U(d)和P(d)中的文档）；
4. {$d_i$di​}经过输出嵌入矩阵$M_{output}$Moutput​转换为$\{c_i\}${ci​}；
5. 通过注意力层将$\{c_i\}${ci​}根据权重分布$\{p_i\}${pi​}加权求和得出o；
6. 最后将o与d的线性转换后的表示求和，得到下一计算层的输出；
7. 如果是最后一层，直接加softmax层进行分类即可。

2. 实验结果

UPDMN的效果比UPNN的效果好些，但是没有UPA的好。

如果是实际应用的话，建议先使用UPA模型，再尝试UPDMN模型。