TENER 命名实体识别论文
- TENER: Adapting Transformer Encoder for Named Entity Recognition
- TENER:适用于命名实体识别的改进Transformer
- 作者: Hang Yan, Bocao Deng等
- 单位:复旦大学
- 发表会议及时间: ACL2019
思维导图
模型架构
英文NER: Character Embedding + Extracted Character Features + Word Embedding
中文NER: Character Embedding
细节一：改进的Transformer编码器
论证了两个位置向量的点积可以反映单词间距离
细节二：改进Transformer应用于NER任务
1. TENER
2. FLAT
总结
关键点
- 使用Transformer进行特征抽取,提高推断速度
- 更改绝对位置编码
创新点
- 优化Transformer,增加距离与方向感知的注意力
- 使用非缩放的点乘注意力机制
另外，这个博客讲的比较好，可以参考：
TENER: Adapting Transformer Encoder for Named Entity Recognition