【问题标题】:How do I early stop my model training in Keras?如何提前停止在 Keras 中的模型训练?
【发布时间】:2018-10-26 09:38:41
【问题描述】:

我想在准确度“acc”达到某个值(在我的例子中为 0.9)后立即停止在 Keras 中进行模型训练。我想应用 EarlyStopping 回调,但还没有成功。我认为以下就足够了:

    early_stopping = EarlyStopping(
            monitor = 'acc',
            verbose = 2,
            mode = 'max',
            baseline = 0.9
    )

训练在一个 epoch 后停止,精度为 0.34,没有任何通知(认为详细 = 2)。我试图添加一个 min_delta = 0.1 以期望该规则只会在达到基线后应用,但这没有帮助。手册说:

baseline:监控量要达到的基线值。如果模型没有显示出比基线有所改进,训练将停止。

和

模式:{auto, min, max} 之一。 ...在最大模式下,当监控的数量停止增加时,它将停止...

从之前的运行中,我知道我的模型在大约 25 个时期内增加到 1.00。为什么这么早就停了,没有任何通知?

【问题讨论】:

    标签: python keras


    【解决方案1】:

    对我来说,您的线路按预期工作。由于您没有提供minimal workable example,如果您自己调试问题,这可能是最简单的。其实很简单。

    在您调用 model.fit 之前添加此行并运行您的代码:

    import ipdb; ipdb.set_trace()
    

    您现在将获得 ipdb-prompt。输入这个:

    ipdb> b EarlyStopping.on_epoch_end
    ipdb> c
    

    现在您的程序应该一直运行到断点为止。现在您可以使用n 单步执行代码以推进一行,您可以使用p 打印变量。下面是一个例子来检查,当前的最佳精度是多少,当前时期的新值是多少:

        543         if self.monitor_op(current - self.min_delta, self.best):
    --> 544             self.best = current
        545             self.wait = 0
    
    ipdb> p self.best
    0.9
    ipdb> p current
    0.9196166666348775
    

    通过这种方式,您可以检查代码所采用的路径以及偏离预期的位置。如果这还不足以解决您的问题,那么其他信息肯定会对其他人有所帮助,确实可以帮助您解决问题。

    更新: 你是对的。它实际上并没有按预期工作。在我做的测试中,它恰好在正确的时间停止。但是使用原始类作为模板很容易创建自己的类,以便获得这种行为:

    class CustomEarlyStopping(EarlyStopping):
        def __init__(self, threshold):
            self.threshold = threshold
            super(CustomEarlyStopping, self).__init__(monitor='acc')
    
        def on_epoch_end(self, epoch, logs=None):
            current = self.get_monitor_value(logs)
            if current is None:
                return
    
            if current >= self.threshold:
                self.stopped_epoch = epoch
                self.model.stop_training = True
    

    【讨论】:

    • +1 用于显示 ipdb。不知道我可以以编程方式调用它。查看 callback.py 第 538-540 行中的代码:我想要的似乎不可能:等到达到限制。我很惊讶它对你有用。我们有相同版本的 keras 吗?我得到了 2.2.2
    • 我也做了同样的事情,效果很好!感谢您提出此答案,以便我可以将您的答案标记为正确。尽管如此,它仍然是一段奇怪的 keras 代码:它不像我从手册中理解的那样工作。无论如何:你的回答也帮助我找到了我应该做的事情。谢谢!
    • 我认为基线选项仅用于捕捉网络比随机更糟糕的情况,这意味着从根本上是错误的。
    • 可能是这样,但我没有从手册中收集到。无论如何,我决定在 Keras 中解决这个问题:github.com/keras-team/keras/issues/11496
    猜你喜欢
    • 2017-10-18
    • 2020-06-16
    • 1970-01-01
    • 1970-01-01
    • 2018-08-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-01-20
    相关资源
    最近更新 更多