论文信息
论文标题：Towards Robust Graph Contrastive Learning
论文作者：Nikola Jovanović, Zhao Meng, Lukas Faber, Roger Wattenhofer
论文来源：2021, arXiv
论文地址：download
论文代码：download
1 Introduction
创新点：从对抗攻击和对抗防御考虑数据增强策略。
2 Graph robust contrastive learning
2.1 Background
目的：期望同一节点在 $\tau_{1}$ 和 $\tau_{2}$ 下的嵌入是相似的。同时，期望不同节点的嵌入在两个图视图之间的嵌入是不同的。
令：$N e g(v)=\left\{\tau_{1}(u) \mid u \in V \backslash\{v\}\right\} \cup\left\{\tau_{2}(u) \mid u \in V \backslash\{v\}\right\}$ 是两个图视图中除 $v$ 以外的节点的嵌入。$ \sigma$ 是相似性度量函数。
即：
通过下式计算编码器的参数 $ \theta $ ：
$ \underset{\theta}{ \arg \max } \;\;\; \mathbb{E}_{\tau_{1}, \tau_{2} \sim \mathrm{T}}\left[\sum\limits _{v \in V} \sigma\left(z_{1}, z_{2}\right)-\sum\limits_{u \in N e g(v)} \sigma\left(z_{1}, f_{\theta}(u)\right)\right]$
其中 $z_{1} \equiv f_{\theta}\left(\tau_{1}(v)\right)$ ， $z_{2} \equiv f_{\theta}\left(\tau_{2}(v)\right) $
由于转换 $T$ 的搜索空间较大，且缺乏优化算法，上述优化问题难以解决。我们遵循GRACE方法来解决这个问题。即 先对 $z_{1}, z_{2}$ 施加一个两层的 MLP ，然后再计算余弦相似度，损失函数变为：
$\frac{1}{2 n} \sum\limits _{v \in V}\left[\mathcal{L}\left(v, \tau_{1}, \tau_{2}\right)+\mathcal{L}\left(v, \tau_{2}, \tau_{1}\right)\right]\quad\quad\quad(1)$
其中：
$\mathcal{L}\left(v, \tau_{1}, \tau_{2}\right)=-\log {\Large \frac{\exp \left(\sigma\left(z_{1}, z_{2}\right) / t\right)}{\exp \left(\sigma\left(z_{1}, z_{2}\right) / t\right)+\sum\limits _{u \in N e g(v)} \exp \left(\sigma\left(z_{1}, f_{\theta}(u)\right) / t\right)}} $
2.2 Motivation
上述对比学习方法在无标签的情况下效果不错，但是其准确率在对抗攻击的条件下显著下降。
2.3 Method
对于 $ \tau_{i}^{\prime}$，我们只是使用随机特征掩蔽。对于 $\tau_{2}^{\prime}$，我们使用了两种类型的基于边缘的转换。
令 $\tau_{i} \in T$ 表示为数据增强组合 $ \tau_{i}=\tau_{i}^{\prime} \circ \tau_{i}^{\prime \prime} $，即随机数据增强和对抗（攻击和防御）。
普通数据增强层面：
分别应用随机数据增强（只用特征隐藏）$\tau_{1}^{\prime} $、 $\tau_{2}^{\prime}$ 于原始图，得到对应两个视图。
对抗层面：（边删除和边插入）
受对抗防御的影响，本文提出基于梯度信息选择要删除的边的策略。先对应用 $\tau^{\prime}$ 后的两个视图进行一次前向和反向传播过程，得到边缘上的梯度。因为需要最小化 $\text{Eq.1}$ ，所以选择一个最小梯度值的边子集合。
同时，引入基于梯度信息的边插入。由于插入所有未在图中的边不切实际，所以考虑在每个 batch $b$上处理，还将将插入集合 $S^{+}$ 限制在 边 $(u,v)$ 上。设 $ v$ 是一个锚节点，$ u$ 在 $v^{\prime} \neq v$ 的 $