【问题标题】:Why are small weights helpful in Deep Neural Networks(Regularisation)为什么小权重有助于深度神经网络(正则化)
【发布时间】:2020-11-30 01:25:12
【问题描述】:

我研究神经网络已经很长时间了,实际上我被这个叫做正则化的话题所困。我学习了 L1、L2 正则化技术,这些技术的主要目的是保持权重尽可能小。但我仍然不明白为什么这很有用。我其实一直在关注这本书-http://neuralnetworksanddeeplearning.com/chap3.html

【问题讨论】:

    标签: deep-learning neural-network artificial-intelligence


    【解决方案1】:

    这不是从理论方面而是从实际方面有所帮助。

    神经网络的权重通常存储为 16 位或 32 位浮点数。对于深度神经网络,如果你不向反向传播添加正则化项,它们的权重将增加到超过浮点数可以很好表示的值(到无穷大)或变得太小以至于它们都表示为零,并且神经网络将不再起作用。

    这就是所谓的梯度消失或爆炸问题。将权重之和添加到成本函数中,可以让我们在保持权重实用的同时优化损失函数。

    【讨论】:

    • 感谢我的疑问得到澄清,但不会惩罚大权重使我们的网络权重接近 0 并最终接近 0。这不是问题。
    猜你喜欢
    • 2017-04-13
    • 2017-01-14
    • 1970-01-01
    • 2017-04-04
    • 2017-10-12
    • 1970-01-01
    • 2019-12-02
    • 1970-01-01
    • 2016-06-27
    相关资源
    最近更新 更多