尽管 SGD 衰减，Keras 学习率没有变化答案

【问题标题】：Keras learning rate not changing despite decay in SGD尽管 SGD 衰减，Keras 学习率没有变化
【发布时间】：2016-09-02 16:05:38
【问题描述】：

由于某种原因，即使我设置了衰减因子，我的学习率似乎也没有改变。我添加了一个回调来查看学习率，并且在每个 epoch 之后它看起来都是一样的。为什么没有变化

class LearningRatePrinter(Callback):
    def init(self):
        super(LearningRatePrinter, self).init()

    def on_epoch_begin(self, epoch, logs={}):
        print('lr:', self.model.optimizer.lr.get_value())

lr_printer = LearningRatePrinter()

model = Sequential()
model.add(Flatten(input_shape = (28, 28)))
model.add(Dense(200, activation = 'tanh'))
model.add(Dropout(0.5))
model.add(Dense(20, activation = 'tanh'))
model.add(Dense(10, activation = 'softmax'))

print('Compiling Model')
sgd = SGD(lr = 0.01, decay = 0.1, momentum = 0.9, nesterov = True)
model.compile(loss = 'categorical_crossentropy', optimizer = sgd)
print('Fitting Data')
model.fit(x_train, y_train, batch_size = 128, nb_epoch = 400, validation_data = (x_test, y_test), callbacks = [lr_printer])


lr: 0.009999999776482582
Epoch 24/400
60000/60000 [==============================] - 0s - loss: 0.7580 - val_loss: 0.6539
lr: 0.009999999776482582
Epoch 25/400
60000/60000 [==============================] - 0s - loss: 0.7573 - val_loss: 0.6521
lr: 0.009999999776482582
Epoch 26/400
60000/60000 [==============================] - 0s - loss: 0.7556 - val_loss: 0.6503
lr: 0.009999999776482582
Epoch 27/400
60000/60000 [==============================] - 0s - loss: 0.7525 - val_loss: 0.6485
lr: 0.009999999776482582
Epoch 28/400
60000/60000 [==============================] - 0s - loss: 0.7502 - val_loss: 0.6469
lr: 0.009999999776482582
Epoch 29/400
60000/60000 [==============================] - 0s - loss: 0.7494 - val_loss: 0.6453
lr: 0.009999999776482582
Epoch 30/400
60000/60000 [==============================] - 0s - loss: 0.7483 - val_loss: 0.6438
lr: 0.009999999776482582
Epoch 31/400

【问题讨论】：

标签： python neural-network keras

【解决方案1】：

这改变得很好，问题是您尝试访问商店的字段初始学习率，而不是当前的。在每次迭代期间通过方程从头开始计算当前值

lr = self.lr * (1. / (1. + self.decay * self.iterations))

并且它永远不会被存储，因此您无法以这种方式对其进行监控，您只需使用此等式自行计算即可。

见https://github.com/fchollet/keras/blob/master/keras/optimizers.py的第126行

【讨论】：