为什么学习率已经很小（1e-05）而模型收敛速度太快？答案

【问题标题】：Why is the learning rate already very small (1e-05) while the model convergences too fast?为什么学习率已经很小（1e-05）而模型收敛速度太快？
【发布时间】：2019-07-13 22:47:04
【问题描述】：

我正在训练一个视频预测模型。

根据损失图，模型收敛很快，但最终损失不够小，生成不好。

其实我已经测试了lr=1e-04和lr=1e-05，损失图下降的慢了一点，但还是不理想。不过我觉得lr=1e-05应该够小了吧？

我应该如何修复我的模型或超参数？

【问题讨论】：

我最近注意到有一个 AI StackExchange，我想你可能会在那里得到更好的答案：ai.stackexchange.com
不错！谢谢！
不客气，祝你big pile of linear algebra好运！

标签： machine-learning deep-learning computer-vision

【解决方案1】：

尝试使用不同的 LR。您可能走得太快而陷入局部最优，或者走得太慢而永远找不到全局最优。

在调整网络之前，请确保 LR 没有问题。 GL！

【讨论】：