【问题标题】:Early Stopping with a Cross-Validated Metric in Keras在 Keras 中使用交叉验证的指标提前停止
【发布时间】:2019-03-18 05:20:46
【问题描述】:

Keras 有没有办法交叉验证被监控的提前停止指标EarlyStopping(monitor = 'val_acc', patience = 5)?在允许训练进行到下一个 epoch 之前,是否可以对模型进行交叉验证以获得对测试误差的更稳健的估计?我发现早期停止指标,比如验证集的准确性,可能会受到高方差的影响。早期停止的模型通常在看不见的数据上表现不佳,我怀疑这是因为与验证集方法相关的高方差。

为了最小化早期停止指标的方差,我想在模型从 epoch i 训练到 epoch i + 1 时对早期停止指标进行 k 倍交叉验证。我想在 epoch i 取模型,将训练数据分成 10 个部分,学习 9 个部分,估计剩余部分的误差,重复这样所有 10 个部分都有机会成为验证集,然后像往常一样使用完整的训练数据继续训练到纪元i + 1。 10 个错误估计的平均值有望成为一个更可靠的指标,可用于提前停止。

我试图编写一个包含 k 折交叉验证的自定义度量函数,但我无法让它工作。有没有办法交叉验证被监控的提前停止指标,可能是通过 Keras 模型内部的自定义函数或 Keras 模型外部的循环?

谢谢!!

【问题讨论】:

  • 你想做的事情似乎很昂贵。

标签: python keras prediction cross-validation


【解决方案1】:

Keras 确实有一个非常可定制的回调功能,可以看出 here。

如果您对 keras 当前的 EarlyStopping 函数不满意,它对我来说是在训练期间检查验证损失的工作,您可以创建一个自定义回调函数。也可以链接自定义回调函数。

如果您的问题是在回调中访问模型,那么self 是您要访问的变量,如answer 所示。我不完全理解您为什么要在测试阶段“重新开发”模型。但是有了这个,您仍然可以使用回调,在EarlyStopping 回调之后,您可以创建另一个可以“重新开发”模型的回调函数。

如果您想访问可以使用的模型更深层次的变量,Keras backend。

希望我能帮上忙。

【讨论】:

  • 谢谢!!你是对的,“重新开发”是一个糟糕的选择;我已经编辑了我的问题,希望能让我想做的事情更清楚。你建议的链接很有帮助,但我不是一个伟大的程序员,所以你能发布一些代码来说明你的意思并帮助我开始吗?
  • 嗯,我给你的链接已经有关于如何为 keras 创建和使用回调的示例代码。您也可以在线搜索样品的批次。 :)
【解决方案2】:

我想使用@VincentPakson 建议的回调会更干净、更高效,但所需的编程水平超出了我的范围。我能够创建一个 for 循环来做我想做的事:

  1. 为单个 epoch 训练模型并使用 model.save() 保存它。

  2. 加载保存的模型并为 10 个折叠(即 10 个模型)中的每一个(即 10 个模型)训练一个 epoch,然后平均 10 个验证集错误。

  3. 使用所有训练数据加载保存的模型并训练单个 epoch,并用此模型覆盖保存的模型。

  4. 重复步骤 1-3,直到对于给定的耐心,从 2 开始的估计值停止改善。

我希望得到更好的答案,但这似乎可行。慢慢来。

【讨论】:

  • 您可以将其放入您知道的问题中,然后将其指定为对其进行编辑。有些人可能会为此添加更多输入。
猜你喜欢
  • 2021-05-08
  • 2018-05-17
  • 2016-03-29
  • 2020-02-06
  • 1970-01-01
  • 2018-06-13
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多