HNHN: Hypergraph Networks with Hyperedge Neurons（20-ICML）

HNHN

• 摘要
• 模型框架
• 超图与图卷积的联系：将超图转化为图，然后使用图卷积方法解决超图问题
• 法一：clique expansion（连通分量扩展）
• 法二：star expansion
• star expansion 得到的图卷积形式
• clique expansion得到的邻接矩阵
• 超图规范化
• 算法流程
• 实验
• datasets

code:https://github.com/twistedcubic/HNHN

摘要

HNHN，用于超图表示学习。HNHN是一个同时应用于超节点和超边的非线性**函数的超图卷积网络，它结合了一种标准化方案，可以根据数据集灵活调整高基数超边和高度数顶点，我们允许网络学习单个超边的非线性行为的重要性。
这里超边非线性有个例子：比如作者是超边，其写的paper为node,( the probability that one author of a paper with unknown research interests works in a particular research area might be a nonlinear function of the number of other authors of the paper that work in that research area.)

模型框架

• $H=(V,E)$H=(V,E)表示超图
• $|V|=n,|E|=m$∣V∣=n,∣E∣=m
• 超点：$v_i,i\in\{1,2 ,...n\}$vi​,i∈{1,2,...n}, 超边$v_j\in\{1,2 ,...m\}$vj​∈{1,2,...m}
• 关联矩阵：$A\in \mathbb{R}^{n\times m}$A∈Rn×m
  
• 特征矩阵：顶点表示$X_V \in \mathbb{R}^{n \times d}$XV​∈Rn×d ,边表示$X_E \in \mathbb{R}^{n \times d}$XE​∈Rn×d
• 更新规则$\sigma$σ非线性函数，$W_V,W_E\in \mathbb{R}^{d\times d}$WV​,WE​∈Rd×d可学习参数，$b_V,b_E\in \mathbb R^D$bV​,bE​∈RD是偏置，这里也就是说将node 和edge都单独进行学习

超图与图卷积的联系：将超图转化为图，然后使用图卷积方法解决超图问题

法一：clique expansion（连通分量扩展）

将超边中所有顶点都连接在一起，比如有3个顶点的超边，扩展成普通图时两两相连就会有3条边。以此类推。连接和n个顶点的超边拓展后有$C_n^2$Cn2​个边。
同一个超边转换成的边具有跟以前边同样的权重。

法二：star expansion

星拓展，也就是在每个超边中加入一个“星星”,连接上其他的点，所以这种方式会在原来的超节点上增加额外的节点，也就是有加点的操作，而法一是没有的。加上的点归入一个集合，原来的点归入另一个集合，也就可以证明出这个拓展后的普通图是一个二部图了（二分图又称作二部图，是图论中的一种特殊模型。 设G=(V,E)是一个无向图，如果顶点V可分割为两个互不相交的子集(A,B)，并且图中的每条边（i，j）所关联的两个顶点i和j分别属于这两个不同的顶点集(i in A,j in B)，则称图G为一个二分图。）
星图边的权重变成 对应超边 的权重除于超边的度了

star expansion 得到的图卷积形式

$B\in\mathbb{R}^{(n+m)\times(n+m)}$B∈R(n+m)×(n+m)作为$G_*$G∗​邻接阵
则X表示为
$\left( \begin{matrix} X_V & 0 \\ 0 & X_E \end{matrix} \right)$(XV​0​0XE​​)
将$X_E、X_V$XE​、XV​的更新统一到一起得到

clique expansion得到的邻接矩阵

$C=AA^T$C=AAT为$G_c$Gc​的邻接矩阵
因为：
文章还指出以上两种邻接阵的分析难度都差不多。

超图规范化

最初形态的规范化（使用节点度数），这里$D_V^{-1}$DV−1​也可以换成两个$D_V^{-1/2}$DV−1/2​.
然而上面那种会使得所有超边都具有相同的权重，所以为了使得不同度数的边具有不同的权重，也就是直观的应当度数大的影响得大些。这里对边度数加了一个指数，

上面可以看出$D_V=A*D_E$DV​=A∗DE​

写成矩阵元素的形式

$\alpha=0时回到最初始的形式，\alpha>0意味着度数大的影响大，\alpha<0表示他们的贡献被削弱$α=0时回到最初始的形式，α>0意味着度数大的影响大，α<0表示他们的贡献被削弱。

同样地，更新边的特征，使用的规范化操作为

算法流程

实验

datasets

E为超边
cora 这里是Co-authorship 共作者数据集
CiteSeer是当前论文为超边，其他论文为点，如果有引用当前论文，就连在这个超边里边。
DBLP数据从[AMi]中收集，并按照[YNY + 19]中描述的方式进行处理:使用来自六个学科类别的五个计算机科学会议的论文摘要的词汇包向量
这些数据集都清除了没连接任何超边的超节点