【问题标题】:Learning rate curve going backwards for cnncnn 的学习率曲线倒退
【发布时间】:2020-11-07 09:45:18
【问题描述】:

我正在使用 MNIST 数据集识别数字 3 和 7。我正在使用 fastai 库中的 cnn_learner() 函数。当我绘制学习率时,曲线在 X 轴上达到某个值后开始向后移动。有人可以解释一下它是什么意思吗?

【问题讨论】:

  • 它显示了损失值如何随着学习率的变化而变化。在模型的学习率较低时,(小于 0.001)模型损失增加到 1。这意味着您的模型过度拟合和过度训练

标签: deep-learning neural-network conv-neural-network fast-ai learning-rate


【解决方案1】:

曲线的行为很正常,看起来很奇怪。该曲线表示关于损失的多个学习率值。它可以帮助您确定在什么学习率值下,您的损失是最小还是最大。

这是一种为您的模型找到最佳学习率的方法。您必须选择一个可以减少损失的值。但是,如果您仅仅认为损失最小就选择了一个太小的学习率值,那么您的模型将训练得非常慢。

您可以使用以下链接进一步了解如何为您的模型找到最佳学习率。

Learning rate finder

【讨论】:

    猜你喜欢
    • 2019-05-04
    • 1970-01-01
    • 2011-01-21
    • 1970-01-01
    • 2016-01-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-10-23
    相关资源
    最近更新 更多