谁能解释神经网络中的这种现象？答案

【问题标题】：can anyone explain this phenomenon in neural network?谁能解释神经网络中的这种现象？
【发布时间】：2018-11-29 17:44:12
【问题描述】：

我训练了一个 [50, 500, 500, 5] 神经网络，输入层有 50 个神经元，输出层有 5 个神经元。 layer2 中的偏差是这样变化的

为什么 layer2 中的偏差分布变化如此之大？

（layer1中bias的分布在每一步都几乎相同。

谁能解释一下这个现象？

【问题讨论】：

我相信这叫做颜色变化，但我可能是错的。
emmmm...我想知道偏差分布的变化，而不是颜色。
我已经将一半覆盖在另一半上，并且……虽然存在一些差异，但主要的差异似乎是颜色以及左侧在 0.13 处被截断的事实, 右边继续到 0.15。不过，它可能只是图表。
这不是编程问题，您是在询问机器学习理论。这在stats.stackexchange.com 中更合适，但我认为它正在进行研究，所以不要指望一个明确的答案。
Matias 是对的 - 而且，根据这个 TensorBoard 输出，您的测试集和训练集似乎是相同的，这意味着您没有正确地检测您的实验。如果您不回到基本面并获得更完整的理解，将很难取得进展。祝你好运！

标签： python tensorflow neural-network

【解决方案1】：

您所看到的几乎可以肯定是过度拟合。这不是您的实现中的错误，而是您的理解方面的问题。这个 1,055 个神经元多层感知器 (MLP) 的权重约为 625 万（取决于您的实现）！这足以记住几乎任何模式。您在直方图中看到的是偏差参数的迁移以适合您的数据。它只发生在最后一层，因为仅最后一层中的偏差项就足以记住数据。从非常清晰的参数集中度来看，我猜你是在一个相当小的数据集上训练。这正是 MLP 记忆数据点时的样子。请查阅您的训练和验证损失与历元曲线来确认这一假设。

【讨论】：