如何在一个时期后显示最后使用的学习率答案

【问题标题】：How to display the last used learning rate after an epoch如何在一个时期后显示最后使用的学习率
【发布时间】：2018-05-24 15:26:28
【问题描述】：

我尝试了几种方法来显示在 Keras 的最后一个时期有效使用的模型的学习率。

一些研究表明，可以使用回调来更改学习率，或者使用自定义指标显示学习率。但无论我尝试什么方法，显示的学习率始终是 ORIGINAL 学习率。

一些答案暗示应根据公式重新计算费率。但我想要的只是得到用于反向传播的学习率，而不是根据算法计算它。

这是我使用的一些代码：

callback_list = []
metric_list = ['accuracy']

# Add checkpoints to save weights in case the test set acc improved
#...

if show_learn_param:
    learn_param = Callback_show_learn_param()
    callback_list.append(learn_param)

    # Add metric if needed
    def get_lr_metric(optimizer):
        def lr(y_true, y_pred):
            return optimizer.lr #K.eval(optimizer.lr)
        return lr

    lr_metric = get_lr_metric(optimizer)
    metric_list.append(lr_metric)

这里是回调的定义：

class Callback_show_learn_param(Callback):
    def on_epoch_end(self, epoch, logs=None):
        lr = self.model.optimizer.lr
        decay = self.model.optimizer.decay
        iterations = self.model.optimizer.iterations
        lr_with_decay = lr / (1. + decay * K.cast(iterations, K.dtype(decay)))

        # Beta values
        beta_1=self.model.optimizer.beta_1
        beta_2=self.model.optimizer.beta_2
        print("lr", K.eval(lr), "decay", K.eval(decay), "lr_with_decay", K.eval(lr_with_decay),
              "beta_1", K.eval(beta_1), "beta_2", K.eval(beta_2))

基本上，显示的值是恒定的，不会改变。它对 beta 值和衰减有意义。显示的学习率似乎是最初的。对于学习率，我找不到显示这个简单值的方法：实际使用的有效学习率。

顺便说一句，有一种更简单的方法来显示这个初始学习率：

import keras.backend as K
print(K.eval(model.optimizer.lr))

【问题讨论】：

标签： keras

【解决方案1】：

你需要使用K.get_value来获取学习率。查看LearningRateScheduler 以及该回调如何从模型中获取学习率。在您的情况下，您应该能够打印学习率：

def on_epoch_end(self, epoch, logs=None):
  lr = float(K.get_value(self.model.optimizer.lr))
  print("Learning rate:", lr)

【讨论】：