使用检查点调整超参数 Inception 模型答案

【问题标题】：Tuning hyperparameters Inception model with checkpoints使用检查点调整超参数 Inception 模型
【发布时间】：2018-04-20 12:04:45
【问题描述】：

我有一个关于调整 Inception ResNet V2 模型（或任何其他 DL 模型）的超参数的问题，我无法真正解决这个问题。现在，我已经设置了某些超参数，例如learning_rate、decay_factor 和decay_after_nr_epochs。我的模型保存了检查点，因此以后可以在这些点继续。如果我再次运行模型，使用更多 epoch，逻辑上它会在最后一个检查点继续训练。

但是，如果我要设置新的超参数，例如 learning_rate = 0.0001 而不是 learning_rate = 0.0002，那么继续检查点是否有意义，还是在初始模型上使用新的超参数更好？

对我来说，后者听起来更合乎逻辑，但我不确定这是否有必要。

提前致谢。

【问题讨论】：

标签： python tensorflow deep-learning

【解决方案1】：

这两种方法都可以，但是在调整它们之后你必须看到你的训练损失。如果它们在这两种情况下都收敛，那么很好，否则相应地调整。

但是，据我所知，人们采用这两种方法 1. 最初保持较高的学习率并保持衰减因子，从而在开始收敛时缓慢降低您的学习率。 2. 如果您认为可以调整到更好的学习率，您可以关注损失函数并提前停止。

【讨论】：