【问题标题】:Why we might get underfitting without regularization?为什么我们可能会在没有正则化的情况下得到欠拟合?
【发布时间】:2018-06-16 03:07:11
【问题描述】:

作者在this文章中说

...如果不应用正则化,我们也会面临以下风险 欠拟合...

为什么没有正则化我们可能会变得欠拟合?正则化“使”网络更简单,以避免过度拟合而不是欠拟合。所以,如果我们没有正则化,它不会导致欠拟合。

【问题讨论】:

    标签: machine-learning neural-network regularized


    【解决方案1】:

    当我们的模型过度拟合时,我们需要正则化,即我们的训练准确度远高于我们的测试准确度。

    当我们的模型欠拟合时,我们需要增加模型的复杂性(例如,通过添加新特征)。

    因此,正则化不是解决欠拟合的方法,这就是作者想说的。

    【讨论】:

    • 所以,“应用正则化”是指“添加新功能”?我认为他的意思是应用 l1-norm 或 l2-norm 以避免欠拟合,因此令人困惑。
    • @theateist 不,他的意思是,如果您的模型拟合不足,则正则化不是解决方案。当你的模型过度拟合时,你应用 l1 或“2 正则化”。
    • 我知道当模型过度拟合时我们会应用 l1 或 l2。只是当有人说“不做 A 我们可能会得到 B”时,我将这句话理解为“如果我不想得到 B,我需要做 A。仅此而已。这就是为什么我将这句话理解为“如果我不想要 udnerfit 我需要正则化”,这很令人困惑,因为当模型过度拟合而不是欠拟合时需要正则化。我希望我解释了为什么那个特定的句子让我感到困惑。
    • @theateist 作者只是说如果我们不应用正则化可能是因为我们的模型欠拟合,也就是说我们的模型不需要正则化。
    • 我认为这是一个正确的答案但我也不得不说那个作者的写作真的很容易被误解
    猜你喜欢
    • 2013-12-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-10-17
    • 2021-04-07
    • 2011-08-15
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多