信息抽取深度学习综述
Survey
A Survey on Deep Learning for Name Entity Recognition
Flair Embedding
Contextual String Embeddings for Sequence Labeling
基于字符的language model
IDCNN-CRF
膨胀卷积
Fast and Accurate Entity Recognition with Iterated Dilated Convolutions
这里使用的是4个大的相同结构的Dilated CNN block拼接在一起
每个block里面是dilation width 为1,1,2的三层Dilated卷积层
Lattice LSTM
Chinese NER Using Lattice LSTM
针对中文NER的网络结构
基于字符级别的LSTM模型引入词级别的信息，而又不引入分词错误
若当前字符与前面的字符组成了在词典中的词，那么将词信息联合字符，更新记忆状态
BILSTM-ATT
An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition
CAN-NER
CAN-NER:Convolutional Attention Network for Chinese Named Entity Recognition
1.使用了字向量、分词向量和位置向量，卷积N-gram信息
2.局部attention(local attention)捕捉窗口范围内当前字和周围字的依赖
3.全局的attention捕捉句子级别的全局信息
TENER
TENER:Adapting Transformer Encoder for Named Entity Recognition
使用Transformer做特征提取，采用了新的attention scores的计算方式
A Multi-task Approach
A Multi-task Approach for Named Entity Recognition in Social Media Data
将NER任务拆分为多任务
1.当前token是不是实体的二分类任务
2.是实体token的具体细粒度的分类
NRE
清华thunlp openNRE
CNN
Relation Exception:Perspective from Convolutional Neural Networks
输入层word embedding + position embedding 用多个不同尺寸个卷积核 + max pooling 生成句子向量表示，经softmax输出最终leibie
R-CNN
Classifying Relations by Ranking with Convolutional Neural Networks
输入层 word embedding + position embedding 用6个卷积核 + max pooling 生成句子向量表示，用关系(类别)向量做点积求相似度，作为关系分类的结果
损失函数用的是pairwise ranking loss function
ML-ACNNS
Relation Classification via Multi-Level Attention CNNs
用了两个层面的Attention ,一个是输入层对两个entity的注意力，另一个是在卷积后的pooling阶段，用attention pooling代替max pooling来加强相关性强的词的权重。
R-BERT
Enriching Pre-trained Language Model with Entity Information for Relation Classification
1.率先将BERT用在了关系抽取任务上，探索了实体和实体位置在预训练模型中的结合方式
2.可以通过在实体前后加标识符的方式表明实体位置，代替传统位置向量的做法，论文也证实了这种方法的有效性
DSR
Matching the Blanks:Distributional Similarity for Relation Learning
BERT,通过6种不同结构来进行实体pair的pooling,然后将pooling进行关系分类或关系相似度计算，显示(f)效果最好
Joint Model
End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures
1.Sequence layer(word sequence based LSTM-RNN layer)负责实体识别
2.Dependency layer(dependency subtree based LSTM-RNN layer)负责关系分类