Motivation

传统GCN在节点分类中达到了不错的效果,但只能在将层数限制在2-3层,加深层数会导致两个问题:
(1)、出现过平滑现象:即最后所有节点趋向同一个值。
(2)、随着层数的加深,参数量也呈指数级增长。
但是试验表明,一般要将层数达到4-5层才能使才能覆盖所有的节点。
为了解决这个问题,引进了PageRank方法。

问题一

由于PageRand方法可能陷入“陷阱问题”和“终止问题”:
所以引进了personalized PageRank方法:
基本表示形式为:
PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK
ix表示初始根节点的特征,计算后可以得到平稳状态后的分布结果为:
PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK
所以PPNP模型就可以写成下面的等式:
PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK
其实这和GCN式子很相似:
通过这种方式就可以解决过平滑的现象,在加深层数后依然可以达到稳态分布。

问题二

为了解决参数量过大的问题,将神经网络和消息传递网络分隔开:如下图所示
PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK
其实也就是将下面的式子分成两个部分:

PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK
右边的式子是神经网络预测节点特征,其实参数也是由此产生的,和GCN中的W*H相似,可以通过MLP拟合。左边就是PPNP网络。

APPNP

当节点很多和层数加深的情况下,矩阵连乘会导致很大的计算量,所以建立了APPNP(Approximate personalized propagation of neural predictions )网络:
**PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK

相关文章:

  • 2021-06-30
  • 2021-06-21
  • 2021-08-31
  • 2021-05-18
  • 2021-09-13
  • 2021-05-25
  • 2021-09-13
  • 2021-08-02
猜你喜欢
  • 2022-12-23
  • 2022-01-11
  • 2021-03-31
  • 2022-01-06
  • 2021-12-05
  • 2021-11-29
  • 2022-01-17
相关资源
相似解决方案