Logistic回归与NN中的L2正则化[关闭]

Question

为了实现逻辑回归的 L2 正则化，我们将 L2 范数添加到基本损失中：

对于多层神经网络，我们做同样的事情，但此外，我们在反向传播期间增加了权重的每个损失权重导数：

问题是：我们为什么不对 NN 做同样的事情？

我可以猜测这与 NN 具有多个层的事实有关，但我不明白它是如何以及为什么工作的。

Answer 1

据我所知，基本方法是在经验 rik 最小化问题中给予惩罚，所以其他惩罚可能来自我不知道的其他理论结果。如果您知道了解 ML 的理论方面，我强烈推荐您阅读这本书 https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/understanding-machine-learning-theory-algorithms.pdf。