FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORK使用图神经网络的小样本学习
代码：github.com/vgsatorras/few-shot-gnn
摘要：我们提出研究一种基于部分观察图形模型的三棱镜推理的小样本学习问题，建立一组图片（标记或者不标记），通过同化消息传递推理算法使用深度学习框架，定义了可以泛化的小样本学习图神经网络框架，我们的框架很容易移植到其他半监督学习、主动学习等，显示了算法对于关系任务的优越性；
1 引言
|
Section2 |
相关工作 |
|
Section3 |
提出问题 |
|
Section4 |
图神经网络介绍 |
|
Section5 |
训练细节 |
|
Section6 |
实验结果 |
2、相关工作
主要是介绍元学习 图神经网络 学习发展；
3、问题设置
通过一个公式，给定特定参数来表示三种学习之间的区别于联系
其中，S代表有监督样本的数量，r代表无监督样本的数量，t代表要分类样本的数量，k代表类的个数。其目标就是通过神经网络（end to end）来对待分类样本预测标签Yi。例如，给定一个训练集合，一个标准的有监督方法的训练目标是：
Few-shot learning： 当r=0，t=1，s=qk的时候，这就是一个典型的q-shot，K-way设置的few-shot学习。在k种类型的数据中，每个类含有q个具体实例。
Semi-Supervised Learning：当r>0，t=1的时候，就变成了一个半监督学习任务了，模型根据来自于这些样本的特征分布来进行预测。
Active Learning：在主动学习中，模型从无监督数据中来请求数据的标签。
4 模型
这个部分主要介绍端到端的图神经网络框架，首次解释了如何把上下文信息映射到图结构中，进一步展示了此模型泛化到其他少样本学习框架
4.1 设置与图形化输入表征
输入集合中包含标记数据与未标记数据，少样本学习的目的就是通过对标记数据的学习来对未标记数据进行标记，传播信息可以被认为后置推理在图形模型上决定输入数据的标签，本文的框架相近于 Vinyals et al. (2016) 的设置表达，但是推理机制使用GNN
4.2 图神经网络
GNN起源于 Gori et al. (2005);，Scarselli et al. (2009) 进一步的简化Li et al. (2015); Duvenaud et al. 2015），
介绍了传播函数
度量函数
在一般图中，网络深度选择为图径的顺序，使得所有节点都能从整个图中获取信息。然而，在我们的上下文中，由于图是紧密连接的，深度被简单地解释为赋予模型更强的表达能力。
初始化点特征的建立
4.3 介绍了 孪生网络模型、原形模型、匹配模型
5、训练
5.1少样本学习
损失函数
半监督的设置相对应的——区别在于对于初始节点的标签
5.2**函数
对未标记的节点使用注意力机制，经过softmax函数作为权重，通过权重与标签向量相乘归一化，然后进行前向传播
6 实验
6.1 OMNIGLOT 数据集
50类 共1623个字符 每个类由20个人来完成，此实验使用1200 训练 423测试；数据集复合了90度
架构 ：
MINI-IMAGENET
Datasets:84*84 rgb 100类 每个类600样本
64类训练、16验证 20个测试
框架
1×f3×3-conv. layer (64 filters), batch normalization, max pool(2; 2), leaky relug,
1×f3×3-conv. layer (96 filters), batch normalization, max pool(2; 2), leaky relug,
1×f3×3-conv. layer (128 filters), batch normalization, max pool(2; 2), leaky relu, dropout(0:5)g,
1×f3×3-conv. layer (256 filters), batch normalization, max pool(2; 2), leaky relu, dropout(0:5)g,
1×f fc-layer (128 filters), batch normalizationg.
6.2 少样本实验结果
6.3 半监督学习
7结论
本文探讨了图神经表示在少样本、半监督和主动学习中的应用。从元学习的角度来看，这些任务变成了监督学习问题输入由一组元素提供，可以利用这些元素的关系结构与神经信息传递模型。特别是，堆叠节点和边缘特征泛化了上下文相似学习支持了以前的少镜头学习模型。图形公式有助于统一几个训练设置 在同样的框架下，朝着拥有一个单独的学习者的目标迈出了必要的一步能够在不同的体系中同时操作(标签流，每个类别的例子很少，或者带有少量标签的示例流)。这个总体目标需要将图形模型扩展到数百万个Defferrard等(2016)提出了节点激励图的层次化和粗化方法。另一个未来的方向是概括主动学习的范围，包括，例如，能力问Rothe等人(2017)的问题，或在强化学习设置，其中少镜头学习适应非平稳环境至关重要。