使用学习的人工神经网络来解决输入

Question

我最近再次研究人工神经网络，包括进化和训练。我有一个问题，关于什么方法（如果有的话）来解决会导致目标输出集的输入。有这个名字吗？我试图寻找的所有东西都会引导我进行反向传播，这不一定是我需要的。在我的搜索中，我最接近表达我的问题的是

Is it possible to run a neural network in reverse?

这告诉我，对于具有不同数量的层节点的网络，确实会有很多解决方案，而且解决它们并不是一件容易的事。我的想法是使用在学习过程中建立的权重朝着一组理想的输入前进。有没有其他人有做这种事情的经验？

为了详细说明： 假设你有一个网络，它有 401 个输入节点，代表 20x20 灰度图像和一个偏差，两个隐藏层由 100+25 个节点组成，还有 6 个输出节点代表一个分类（符号、罗马数字等）。 在训练神经网络使其可以以可接受的错误进行分类之后，我想向后运行网络。这意味着我会在输出中输入我希望看到的分类，并且网络会想象一组输入，这些输入会产生预期的输出。所以对于罗马数字的例子，这可能意味着我会要求它为符号“X”反向运行网络，它会生成一个类似于网络认为“X”的样子的图像。通过这种方式，我可以很好地了解它学会了分离分类的特征。我觉得这对于理解 ANN 在大局中如何运作和学习非常有益。

Answer 1

我知道你可以，我现在正在研究解决方案。我的 github here 上有一些代码用于想象神经网络的输入，该神经网络对 MNIST 数据集的手写数字进行分类，但我认为这并不完全正确。现在，我只需要一个训练有素的网络和我想要的输出，然后将每一层的学习权重向后乘，直到我有一个输入值。这是跳过激活函数，可能还有其他一些错误，但我从中得到了相当合理的图像。例如，这是经过训练的网络想象一个 3 的结果：number 3

Answer 2

是的，您可以反向运行概率神经网络，以使其“想象”与经过训练分类的输出相匹配的输入。

我强烈推荐 Geoffrey Hinton 关于 NN 的 coursera 课程： https://www.coursera.org/course/neuralnets

他在介绍视频中演示了一个神经网络，它想象各种“2”，经过训练可以识别数字 0 到 9。这非常令人印象深刻！

我认为它基本上是在做你想做的事。

粗鲁

Answer 3

对于一个简单的前馈全连接 NN，可以通过取激活函数的逆函数（例如 sigmoid 单元的 Logit）将隐藏单元激活投影到像素空间，将其除以传入权重的总和，然后将其相乘每个像素的权重值。这将给出这个隐藏单元识别的平均模式的可视化。总结每个隐藏单元的这些模式将得到平均模式，它对应于这个特定的隐藏单元活动集。原则上可以应用相同的过程将输出激活投影到隐藏单元活动模式中。

这对于分析 NN 在图像识别中学到的特征确实很有用。对于更复杂的方法，您可以查看this paper（除了它包含 NN 可以学习的模式示例之外的所有内容）。

您不能完全反向运行 NN，因为它不会记住来自源图像的所有信息 - 只记住它学会检测的模式。所以网络不能“想象一组输入”。但是，可以对概率分布进行采样（以权重作为每个像素的激活概率）并生成一组特定神经元可以识别的模式。