论文笔记：Supervised Neural Networks for the Classification of Structures
本文主要提出了递归神经网络来处理结构化域。
在第二节中，介绍结构域和一些关于图和神经网络的初步概念。
结构域、图和神经网络
结构域
- 图的概念：顶点集，边集，映射函数，子图，出度，入度，超源
- 结构域的定义：标签集为某个集合的任意一组图。
- 结构域的价：属于结构域的图的出度的最大值
- 目标函数：结构域的图经函数输出为K维的向量
- 训练集：(X, fun(X)), X属于结构域
神经网络
-
标准神经网络中单个神经元的计算：
-
循环神经网络单个神经元的计算：
先验编码的缺点
先验编码：即神经网络进行图分类时的输入是一组固定长度的向量。这个向量独立于分类任务，是提前对图进行的编码。见下图，即图的编码与分类是相互独立的。
编码过程的先验定义有两个主要缺点：
- 图不同特征的相关性在不同的学习任务中可能发生显著变化
- 由于编码过程必须为任意分类任务工作，每个图必须得到不同的向量表示。这可能导致编码出来的向量表示难以分类。
大意就是说，图有很多的分类任务，但所有的分类任务统一用先验编码会降低分类的准确性。
一阶广义递归神经网络
概述
广义递归神经网络是循环神经网络的拓展，其中它不是考虑神经网络对上一时刻输入单元的输出，而是考虑了当前输入单元（对图来说是顶点）所指向的所有顶点的输出。见下图。
递归神经网络一层的单个神经元的计算公式如下：
其中f函数是Sigmoid函数，NL是对当前输入X的维度。如果考虑域的价为n，则广义递归神经元将有n个递归连接，即使不是所有的递归连接都将用于计算一个顶点x的输出。
图递归神经网络的生成
递归神经网络的生成满足一下两个条件：
- 递归神经元的递归连接的数量必须等于图的价。即上图p1到pn有n个连接
- 图X必须有一个超源点s，可以到达任意顶点。
如果图X没有超源，则可以给它人工加上超源。当满足以上条件我们可以约定X的输出为o(s)。这里的神经网络的前向输出又分两种情况：图中有圈和图中没圈的情况。
图中没有圈时，递归神经网络和普通的循环神经网络很像；图中有圈时会出现以下情况：
即o(x2)就没办法计算了，只有等到整个cycle算完才能计算。
神经网络一层中有多个神经元的计算公式如下：
其中有Ng个神经元
总结
其实这篇文章没有看完，后续还有关于如何优化训练集，如何进行训练，反向传播等等，但暂时不了解细节，关于模型的文章大概了解一下模型框架先。