作者：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio
来源：ICLR 2018
论文：https://arxiv.org/abs/1710.10903
源码：https://github.com/PetarV-/GAT ,https://github.com/Diego999/pyGAT
https://github.com/danielegrattarola/keras-gat
一、论文动机
GCN将局部的图结构和节点特征结合在节点分类任务中获得好的表现。但GCN及其近似模型有两点不足：一是结合邻近节点特征的方式和图结构相关，限制模型泛化能力；二是给同阶邻域不同结点分配相同权重，限制模型捕捉空间信息相关性能力。本文提出GAT网络，使用masked self-attention层，用注意力机制对邻近节点特征加权求和，有效地解决了这些问题：为每个节点邻节点分配不同的权值，不需要矩阵运算和事先知道图结构（邻近节点特征的权重完全取决于节点特征，独立于图结构）。实验证明，GAT模型有效适用于（基于图的）归纳学习问题与转导学习问题。
二、论文创新
2.1引入masked self-attentional layers；
2.2给不同相邻节点分配相应的权重；
三、论文模型
Graph Attentional Layer:
单个 graph attentional layer
输入节点特征向量集：
输出节点特征向量集：
masked attention的方式将注意力分配到节点的邻节点集上，即
本文中 使用单层的前馈神经网络实现。总的计算过程为：
四、论文算法
源码：
https://github.com/PetarV-/GAT https://github.com/Diego999/pyGAT
https://github.com/danielegrattarola/keras-gat
五、论文实验
5.1 数据集
Transductive learning.
Cora,Citeseer and Pubmed
500 for validation and 1000for testing
Inductive learning
PPI , 2 for validation and 2 for testing
5.2 baselines:
5.3 实验结果