创建自己的连接的人工神经网络答案

【问题标题】：Artificial Neural Network that creates it's own connections创建自己的连接的人工神经网络
【发布时间】：2012-12-19 02:56:28
【问题描述】：

我一直在阅读有关前馈人工神经网络 (ANN) 的文章，通常他们需要训练以修改其权重以实现所需的输出。一旦调整后，当接收到相同的输入时，它们也将始终产生相同的输出（生物网络不一定）。

然后我开始阅读有关进化神经网络的文章。然而，进化通常涉及将两个亲本基因组重新组合成一个新的基因组，没有“学习”，而是真正通过适应度测试重新组合和验证。

我在想，人脑管理自己的连接。它创造联系，加强一些联系，削弱另一些联系。

是否有允许这样做的神经网络拓扑？神经网络一旦有不良反应，要么相应地调整其权重，并可能创建随机的新连接（我不确定大脑是如何创建新连接的，但即使我没有，创建随机突变的机会新的连接可以缓解这种情况）。一个好的反应会加强这些联系。

我相信这种类型的拓扑被称为图灵 B 型神经网络，但我还没有看到任何关于它的编码示例或论文。

【问题讨论】：

标签： neural-network biological-neural-network

【解决方案1】：

这篇论文，An Adaptive Spiking Neural Network with Hebbian Learning，专门讨论了新神经元和突触的创建。来自简介：

传统的基于速率的神经网络和较新的脉冲神经网络已被证明对某些任务非常有效，但它们在长期学习和“灾难性遗忘”方面存在问题。一旦对网络进行了训练以执行某些任务，就很难使其适应新的应用程序。 要正确地做到这一点，我们可以模拟人脑中发生的过程：神经发生和突触发生，或者神经元和突触的诞生和死亡。然而，要有效，必须在完成的同时保持当前的记忆。

如果您在 google 上使用关键字“神经发生人工神经网络”或类似关键字进行搜索，您会发现更多文章。 cogsci.stackexchange.com 上也有类似的question。

【讨论】：

嘿，谢谢，我忘了我什至问过这个。看到这样的宝石真是太有趣了。

【解决方案2】：

整洁的网络以及级联添加自己的连接/神经元，通过构建结构来创建对刺激的特定响应来解决问题

【讨论】：

虽然 NEAT 确实管理自己的连接，但它是通过一种进化算法来实现的，而这个问题并没有特别提到。