训练损失波动很大答案

【问题标题】：Training loss fluctuates a lot训练损失波动很大
【发布时间】：2018-05-17 07:02:09
【问题描述】：

我正在 Pascal VOC 数据集上微调 SSD Mobilenet (COCO)。我在训练集中有大约 17K 图像，num_steps 是 100000。配置的详细信息是 -

train_config: {
  batch_size: 1
  optimizer {
    rms_prop_optimizer: {
      learning_rate: {
        exponential_decay_learning_rate {
          initial_learning_rate: 0.0001
          decay_steps: 800720
          decay_factor: 0.95
        }
      }
      momentum_optimizer_value: 0.9
      decay: 0.9
      epsilon: 1.0
}

但是训练损失波动很大，如下所示training loss

我怎样才能避免这种情况？

谢谢

【问题讨论】：

标签： tensorflow training-data

【解决方案1】：

您的学习率似乎很可能，尽管您正在衰减，但在后面的步骤中仍然太大。

我当时建议的事情是：

增加你的衰变率
尝试其他优化器（例如，在这种情况下对我很有效的 ADAM）

【讨论】：