ACL2020《Improving Entity Linking through Semantic Reinforced Entity Embeddings》阅读笔记

文章目录

• 一、简介
• 二、局部与全局分数
• 局部分数（local score）
• 全局分数（global score）
• 三、方法
• 3.1 细粒度语义词典构造
• 3.2 语义类型词提取
• 3.3 语义嵌入生成
• 3.4 实体嵌入与语义嵌入融合

一、简介

这篇文章针对Entity Linking任务提出了一种通过细粒度语义嵌入来增强现有实体嵌入表达从而提高实体链接模型性能的方法。

作者在多个数据集上进行了实验，与现有的实体嵌入相比，该方法大都有所提升，同时可以显著加快模型的收敛速度。

二、局部与全局分数

局部分数（local score）

Local score用于衡量mention与每个候选实体的相关性，可以表述为：

全局分数（global score）

Global score则在local score的基础之上额外考虑了文档中不同mention的候选实体的共现关系。

三、方法

FGS2EE分为四步：

1. 构造细粒度语义词字典
2. 从每个实体对应的维基百科文章提取语义类型词
3. 为每个实体生成语义嵌入
4. 通过线性聚合来结合语义嵌入与现有的实体嵌入

3.1 细粒度语义词典构造

基于实体所在维基百科页面的第一个句子中统计得到的名词频率和词语之间的相似性来人工构造一个包含3227个细粒度语义词的字典。

3.2 语义类型词提取

对于每一个实体，从其所在维基百科页面中提取若干个（不超过11个）语义词。

3.3 语义嵌入生成

对实体的所有语义词的Word2Vec嵌入取平均值，即得到实体对应的语义嵌入，如公式（1）所示。

3.4 实体嵌入与语义嵌入融合

作者通过加权求和的方式来融合细粒度语义嵌入和实体嵌入，如公式（2）所示