论文信息
论文标题：CGC: Contrastive Graph Clustering for Community Detection and Tracking
论文作者：Namyong Park, Ryan Rossi, Eunyee Koh, Iftikhar Ahamath Burhanuddin, Sungchul Kim, Fan Du, Nesreen Ahmed, Christos Faloutsos
论文来源：2022, AAAI
论文地址：download
论文代码：download
1 介绍
本文核心创新点：基于时间演化的聚类算法。2.2
创新点如下：
-
- 网络训练过程中的多层的表示矩阵可以视为多个视图 2.1.1 2.1.3
- 基于时间的表示交互 2.2.2
- 高阶结构（三角结构）的应用 2.1.1
和其他方法对比：
2 Method
2.1 CGC: Contrastive Graph Clustering
两个步骤：
- refining cluster memberships based on the current node embeddings.
- optimizing node embeddings such that nodes from the same cluster are closer to each other, while those from different clusters are pushed further away from each other.
2.1.1 Multi-Level Contrastive Learning Objective
正对：在同一个 cluster 中的节点。
负对：在不同的 cluster 中的节点。
Signal: Input Node Features
对于节点 $u$，将其输入特征 $\mathbf{f}_{u}$ 作为正样本，随机选择另一个节点 $v$，将其输入特征 $\mathbf{f}_{v}$ 作为负样本；然后将这些正负样本与节点嵌入 $\mathbf{h}_{u}$ 进行对比。
对于节点 $ u$ ，设 $\mathcal{S}_{u}^{F}=\left\{\mathbf{f}_{u}^{\prime i}\right\}_{i=0}^{r}$ 是包含一个正样本 $(i=0)$ 和 $r$ 个负样本（$1 \leq i \leq r$）（输入特征）的集合，其中 $\prime$ 表示采样。由于输入特征和节点嵌入可以有不同的维数，所以引入参数 $\mathbf{W}_{F} \in \mathbb{R}^{d^{\prime} \times d}$ 过渡，这里定义一个基于节点特征的对比损失$\mathcal{L}_{F}$：
${\large \mathcal{L}_{F}=\sum\limits _{u=1}^{n}-\log \frac{\exp \left(\left(\mathbf{h}_{u}^{\top} \mathbf{W}_{F} \mathbf{f}_{u}^{\prime 0}\right) / \tau\right)}{\sum_{v=0}^{r} \exp \left(\left(\mathbf{h}_{u}^{\top} \mathbf{W}_{F} \mathbf{f}_{u}^{\prime v}\right) / \tau\right)} } \quad\quad\quad(3)$
Signal: Network Homophily
设 $\mathcal{N}(u)$ 表示节点 $u$ 的邻居， $\mathcal{N}_{\Delta}(u)$ 既是节点 $u$ 的邻居也与节点 $u$ 在相同的三角结构（高阶结构）；因此，$\mathcal{N}_{\Delta}(u) \subseteq \mathcal{N}(u) $。
从 $\mathcal{N}(u)$ 中选择节点 $u$ 的一个正样本，选中 $\mathcal{N}_{\Delta}(u)$ 中的邻居的概率为 $\delta /\left|\mathcal{N}_{\Delta}(u)\right|$，其他邻居的概率为 $(1-\delta) /\left|\mathcal{N}(u) \backslash \mathcal{N}_{\Delta}(u)\right| $，其中 $\delta \geq 0$ 决定了 $\mathcal{N}_{\Delta}(u)$ 中节点的权重，最后从$\mathbf{H}=\mathcal{E}(G, \mathrm{~F})$ 中提取该正样本的节点嵌入 $\mathbf{h}_{u}^{\prime 0}$。
为构造负样本，设计了一个破坏函数 $C(G, \mathbf{F})$。具体来说，定义 $C(\cdot)$ 通过对 $\mathbf{F}$ 进行行变换（row-wise shuffling）返回损坏的节点特征 矩阵$\widetilde{\mathbf{F}}$ ，同时保留图 $G$ 结构，即 $C(G, \mathbf{F})=(G, \widetilde{\mathbf{F}})$，可以看作是在保持图结构的同时在图上随机迁移节点。然后将GNN编码器应用于 $G$ 和 $\widetilde{\mathbf{F}}$ ，得到负节点嵌入 $\widetilde{\mathbf{H}} \in \mathbb{R}^{n \times d^{\prime}}$，并随机选择 $r$ 个负样本及其嵌入。
设 $\mathcal{S}_{u}^{H}=\left\{\mathbf{h}_{u}^{\prime i}\right\}_{i=0}^{r}$ 为包含节点 $u$ 的一个正样本（$i=0$）和 $r$ （ $1 \leq i \leq r$）个负样本嵌入的集合。在CGC中，基于同质性的对比损失 $\mathcal{L}_{H}$ 被定义为：
${\large \mathcal{L}_{H}=\sum\limits _{u=1}^{n}-\log \frac{\exp \left(\mathbf{h}_{u} \cdot \mathbf{h}_{u}^{\prime 0} / \tau\right)}{\sum_{v=0}^{r} \exp \left(\mathbf{h}_{u} \cdot \mathbf{h}_{u}^{\prime v} / \tau\right)}} \quad\quad\quad(4) $
Signal: Hierarchical Community Structure
设 $\mathcal{K}=\left\{k_{\ell}\right\}_{\ell=1}^{L}$ 为聚类数集合，$\mathrm{C}_{\ell} \in \mathbb{R}^{k_{\ell} \times d^{\prime}}$ 为第 $\ell$ 个聚类质心矩阵。给定嵌入矩阵 $\mathbf{H}$ 和簇质心矩阵 $\left\{\mathrm{C}_{\ell}\right\}_{\ell=1}^{L} $。节点 $u$ 的正样本为节点 $u$ 最相近的 $L$ 个簇质心。而其负样本是从第 $\ell$ 个其他 $k_{\ell}-1$ 聚类质心中随机选择的。
设 $\mathcal{S}_{u, \ell}^{C}=\left\{\mathbf{c}_{u, \ell}^{i}\right\}_{i=0}^{r_{\ell}}$ 为包含节点 $u$ 的一个正样本（$i=0$）和 $r_{\ell}$ 个负样本（$1 \leq i \leq r_{\ell}$）（即质心）嵌入在 $k_{\ell}$ 质心中选择的节点