对神经网络训练中的楼梯的解释？

Question

我尝试使用自己的数据创建 Keras 模型。大约几个纪元后，发生了一些我无法对自己解释的奇怪事情（比如楼梯）。

Result of the training

您是否偶然知道大约 270 个 epoch 之后的事件意味着什么？

Answer 1

不看代码很难回答你的问题

在我看来，您可能有一个学习率调度程序或其他可以调整您的学习率的东西（请参阅 keras 文档here）。

keras.callbacks.callbacks.LearningRateScheduler(schedule, verbose=0)

如果您对调度程序的开始感到迷茫（请参阅 这个blog post):

学习率计划旨在通过根据预定义降低学习率来调整训练期间的学习率 日程。常见的学习率计划包括基于时间的衰减， 阶跃衰减和指数衰减。