神经网络：权重和偏差收敛答案

【问题标题】：Neural network: weights and biases convergence神经网络：权重和偏差收敛
【发布时间】：2018-03-01 16:47:42
【问题描述】：

我一直在阅读有关机器学习、神经网络和深度学习的一些主题，其中之一是（在我看来）优秀的在线书籍：http://neuralnetworksanddeeplearning.com/chap1.html

在很大程度上，我已经了解了神经网络的工作原理，但有一个问题仍然困扰着我（基于网站上的示例）：我考虑一个具有输入层、隐藏层和输出层的三层神经网络。假设这些层有 2、3 和 1 个神经元（尽管数量并不重要）。

现在给出一个输入：x1 和 x2。因为网络是 [2, 3, 1]，权重是第一次随机生成的，是一个包含 2x3 和 3x1 矩阵的列表。偏差是一个 3x1 和 1x1 矩阵的列表。

现在我没有得到的部分：隐藏层计算公式：

weights x input - biases = 0

在每次迭代中，权重和偏差都会根据导数略有变化，以便找到全局最优值。如果是这种情况，为什么每个神经元的偏差和权重不收敛到相同的权重和偏差？

【问题讨论】：

【解决方案1】：

我认为我通过做一些测试以及在互联网上查找一些信息找到了答案。答案在于具有随机的初始权重和偏差。如果所有“神经元”都相等，那么它们都会得出相同的结果，因为权重、偏差和输入是相等的。具有随机权重允许不同的答案：

x1 = 1
x2 = 2
x3 = 3

w1 = [0, 0, 1], giving w dot x = 3
w2 = [3, 0, 0], giving w dot x = 3

如果有人可以确认，请确认。

【讨论】：