Fast.Ai EarlyStoppingCallback 不起作用

Question

callbacks = [EarlyStoppingCallback(learn, monitor='error_rate', min_delta=1e-5, patience=5)]
learn.fit_one_cycle(30, callbacks=callbacks, max_lr=slice(1e-5,1e-3))

如您所见，我使用了耐心 = 5 和 min_delta=1e-5 和 monitor='error_rate'

我的理解是：如果监控值的改进小于 min_delta，耐心告诉它等待多少个 epoch，在这种情况下是 error_rate。

所以如果我的理解是正确的，那么它不会停留在 Epoch 6。

这是我的理解错误还是fast.ai lib中的调试？

Answer 1

它跟踪最佳错误率并将min_delta 与此时期与该值之间的差异进行比较：

class EarlyStoppingCallback(TrackerCallback):
...
if self.operator(current - self.min_delta, self.best):
    self.best,self.wait = current,0
else:
    self.wait += 1
    if self.wait > self.patience:
        print(f'Epoch {epoch}: early stopping')
        return {"stop_training":True}
...

所以self.wait 仅在误差减少足够大的情况下才会增加。一旦第 5 次发生，它就会停止。

np.greater(0.000638 - 1e-5, 0.000729)

False

但似乎确实存在问题，因为显然如果错误率跳得非常高，我们不希望将其分配给self.best。而且我相信这个回调的目的是在错误率开始增加时停止训练——现在它正在做相反的事情。

所以在TrackerCallback 中可能需要更改：

mode_dict['auto'] = np.less if 'loss' in self.monitor else np.greater

到

mode_dict['auto'] = np.less if 'loss' in self.monitor or 'error' in self.monitor else np.greater