在同一个数据集上训练后，你对两个完全相同的神经网络有什么看法？

Question

假设你有两个卷积神经网络implemented in matlab 并由这些层组成：

• imageInputLayer
• 卷积层
• maxPoolinglayer
• relulayer
• softmaxlayer
• 全连接层
• 分类层

这两个网络具有完全相同的架构。 我对具有相同超参数的 2 个网络应用相同的训练方法。 这两个网络在其相应层中具有完全相同的权重。

也就是说，这两个网络都是彼此的复制品。

这两个网络都是使用完全相同的训练集和验证集进行训练的，没有洗牌。

我想知道：

• 两者的分数（训练错误和验证错误）和训练权重是否不同？
• 是否取决于训练方法？

Answer 1

简而言之：两者都可以 - 因为初始权重通常使用随机数启动。

稍微短一点：神经网络只是一种算法，如果在途中的任何函数中都没有引入噪声（即随机性），则两个网络最终将完全相同。