【论文笔记】Representation Learning of Knowledge Graphs with Entity Descriptions

中文标题：融入实体描述的知识图谱表示学习
发表会议：AAAI-2016
文章链接：Representation Learning of Knowledge Graphs with Entity Descriptions
源码链接：DKRL

1 Introduction

1.1 问题陈述：

知识图谱嵌入将知识图谱中的实体和关系表示为低维的连续向量，从而使知识图谱可以适用于机器学习模型。 大多数知识图谱嵌入方法仅仅集中在事实三元组上，而实体的补充文本描述尚未得到充分利用。

1.2 解决办法：

本文提出了融入实体描述的知识图谱表示学习（DKRL）模型，为了融入实体描述的语义信息，尝试了两个Encoder，包括连续词袋模型（CBOW）和一个基于卷积神经网络（CNN）的Encoder，能够同时捕获图结构信息和语义信息。

2 Methodology

2.1 问题形式化：

模型中的每个实体有对应的两种表示，即每个实体对应两个embedding：

• Structure-based Representations（基于结构的表示）： 直接从图结构训练出的embedding，head和tail对应的embedding分别表示为$h_s$hs​和$t_s$ts​。
• Description-based Representations（基于描述的表示）： 由实体描述训练出来的embedding，head和tail对应的embedding分别表示为$h_d$hd​和$t_d$td​。

2.2 能量函数：

$E=E_{S}+E_{D}$E=ES​+ED​基于结构的表示能量函数：$E_{S}=E(h, r, t)=\|\mathbf{h}+\mathbf{r}-\mathbf{t}\|$ES​=E(h,r,t)=∥h+r−t∥
与TransE的优化目标一致。
基于结构的表示能量函数：$E_{D}=E_{D D}+E_{D S}+E_{S D}$ED​=EDD​+EDS​+ESD​
将两种类型实体表示映射到相同的向量空间，并且使两种表示相互促进。
$\begin{aligned} &E_{D D}=\left\|h_{d}+r-t_{d}\right\|\\ &E_{D S}=\left\|h_{d}+r-t_{s}\right\|\\ &E_{S D}=\left\|h_{s}+r-t_{d}\right\| \end{aligned}$​EDD​=∥hd​+r−td​∥EDS​=∥hd​+r−ts​∥ESD​=∥hs​+r−td​∥​

2.3 损失函数：

损失函数与TransE一致：$\begin{aligned} L=\sum_{(h, r, t) \in T} \sum_{\left(h^{\prime}, r^{\prime}, t^{\prime}\right) \in T^{\prime}} \max (\gamma+d(h+r, t)\left.-d\left(h^{\prime}+r^{\prime}, t^{\prime}\right), 0\right) \end{aligned}$L=(h,r,t)∈T∑​(h′,r′,t′)∈T′∑​max(γ+d(h+r,t)−d(h′+r′,t′),0)​

2.4 连续词袋编码 Continuous Bag-of-words Encoder：

作者使用了类似TF-IDF的策略挑选出top k个实体描述中的关键词，然后如下图所示，做简单的加和作为该实体的基于描述的表示（Description-based Representations）。

2.5 卷积神经网络编码 Convolutional Neural Network Encoder：

每个词表示为一个 word embedding作为该CNN的第一层输入，作者在实验过程中初始值为word2vec预训练好的word embedding，在训练过程中不仅更新各个卷积核的参数，还会更新word embedding。

3 Experiments

3.1 数据集：

FB15K and FB20K

3.2 任务：

Knowledge Graph Completion

Entity Classification

参考：
[1] https://blog.csdn.net/qq_34991491/article/details/96488977
[2] https://blog.csdn.net/u012052268/article/details/79069062