【发布时间】:2019-03-18 05:20:46
【问题描述】:
Keras 有没有办法交叉验证被监控的提前停止指标EarlyStopping(monitor = 'val_acc', patience = 5)?在允许训练进行到下一个 epoch 之前,是否可以对模型进行交叉验证以获得对测试误差的更稳健的估计?我发现早期停止指标,比如验证集的准确性,可能会受到高方差的影响。早期停止的模型通常在看不见的数据上表现不佳,我怀疑这是因为与验证集方法相关的高方差。
为了最小化早期停止指标的方差,我想在模型从 epoch i 训练到 epoch i + 1 时对早期停止指标进行 k 倍交叉验证。我想在 epoch i 取模型,将训练数据分成 10 个部分,学习 9 个部分,估计剩余部分的误差,重复这样所有 10 个部分都有机会成为验证集,然后像往常一样使用完整的训练数据继续训练到纪元i + 1。 10 个错误估计的平均值有望成为一个更可靠的指标,可用于提前停止。
我试图编写一个包含 k 折交叉验证的自定义度量函数,但我无法让它工作。有没有办法交叉验证被监控的提前停止指标,可能是通过 Keras 模型内部的自定义函数或 Keras 模型外部的循环?
谢谢!!
【问题讨论】:
-
你想做的事情似乎很昂贵。
标签: python keras prediction cross-validation