【发布时间】：2020-05-03 06:38:04
【问题描述】：
我想通过运行模型几个时期来使用 Pytorch 在图像分类问题中手动选择正确的学习率。我已经使用 LR 调度器来衰减学习率，并且还在优化器参数组中操纵了学习率，但我看不到损失的任何变化。
【问题讨论】：
标签： optimization pytorch learning-rate
【发布时间】：2020-05-03 06:38:04
【问题描述】：
调整学习率并找到“那个”可能非常乏味且耗时。
幸运的是，您不是第一个被这个问题困扰的人，有几种方法可以更系统地调整学习率。
仅举出其中两种方法：
- Hyper-gradient descent - 将学习率视为参数并“学习”它。
- Cyclical learning rates - 在一个区间内搜索“最佳”学习率。
【讨论】：
请看看这个。它可能会给你一些见解。 LR Finder fastai
【讨论】：