摘要：
本文通过提出Dual crOss-sharEd RNN framework (DOER)模型来在同时解决属性级实体抽取及情感分类任务，这一模型采用两个RNN分别处理两个任务，并采用一个cross-shared 单元将两部分的隐藏层表示进行互相增强。并采用两个辅助任务：实体长度预测和输入单词情感极性预测作为辅助任务与模型进行联合训练，实验结果在三个数据集上有SOTA的表现。
1.简介：
本文提出之前的研究没有把属性项抽取（ATE）和属性级情感分类（ASC）同时做的原因：
1.ATE 和ASC本质上是不同的任务，一个是序列标注任务，一个是分类任务，基本的模型不行，在共同处理时会比较困难，除非将ASC也作为标注任务进行处理。
2.对于ATE任务，其中的实体数量是不确定的，构成实体的单词数量也是不确定，应此对于实体抽取任务会有一些困难。
2.模型：
模型的整体结构如下所示：
2.1 word embedding
本文的embedding采用另外一篇论文《Double Embeddings and CNN-based Sequence Labelingfor Aspect Extraction》提出的采用通用的embedding（在通用的、大规模的语料库上进行训练的）和领域特定的embedding（eg.对于laptop数据集，通过该数据集训练词向量），将两部分词向量进行拼接得到的词向量作为模型的输入。
2.2stacked dual RNN
将2.1得到的词向量分别输入到两个RNN，本文采用的RNN为ReGU，详细结构如下：
计算公式如下：
其中f为更新门，控制前一时间步的信息有多少进入下一时间步；O为残差门，控制上一层的信息有多少进入下一层。
2.3Cross-Shared Unit.
有RNN分别得到两个隐藏层表示用来处理实体抽取和情感分类任务，但是这两部分隐藏层表示是独立的，事实上，两个任务的标签是有联系的，比如实体抽取的标签的O，那么情感分类对应的标签也应该是O，因此本文提出了Cross-Shared Unit.来使两部分的信息互相增强。具体实现结构及公式如下：
公式3计算实体抽取的每一个输出与情感分类每一个输出的相关性，然后通过公式4转化为权重，再用得到的权重对RNN的输出进行调整。
2.4Interface.
通过CRF来预测最终的结果，对于实体抽取任务，每一个单词输出一个标签{B,I,O}中的一个，对于情感分类任务，标签分为{PO\NT\NG\CF\O},对于多词情感分类任务，整体的标签采用出现次数多情感标签，当出现次数相同时，采用第一个。
2.5Auxiliary Aspect Term Length Enhancement&Auxiliary Sentiment Lexicon Enhancement
对于实体抽取任务和情感分类，分别采用实体长度预测、单词情感极性作为辅助任务。公式7,8为实体长度预测的预测函数和损失函数，公式9.10为情感预测的预测函数和损失函数：
最后的损失函数由这几部分的损失函数构成