【发布时间】:2020-09-29 12:10:26
【问题描述】:
我在 Keras 中实现了一个带注意力的 LSTM 来重现 this paper。奇怪的行为很简单:我有一个 MSE 损失函数和一个 MAPE 和 MAE 作为指标。在训练期间,MAPE 正在爆炸,但 MSE 和 MAE 似乎训练正常:
Epoch 1/20
275/275 [==============================] - 191s 693ms/step - loss: 0.1005 - mape: 15794.8682 - mae: 0.2382 - val_loss: 0.0334 - val_mape: 24.9470 - val_mae: 0.1607
Epoch 2/20
275/275 [==============================] - 184s 669ms/step - loss: 0.0099 - mape: 6385.5464 - mae: 0.0725 - val_loss: 0.0078 - val_mape: 11.3268 - val_mae: 0.0803
Epoch 3/20
275/275 [==============================] - 186s 676ms/step - loss: 0.0025 - mape: 5909.3735 - mae: 0.0369 - val_loss: 0.0131 - val_mape: 14.9827 - val_mae: 0.1061
Epoch 4/20
275/275 [==============================] - 187s 678ms/step - loss: 0.0015 - mape: 4746.2788 - mae: 0.0278 - val_loss: 0.0142 - val_mape: 16.1894 - val_mae: 0.1122
Epoch 5/20
30/275 [==>...........................] - ETA: 2:38 - loss: 0.0012 - mape: 9.3647 - mae: 0.0246
MAPE 在每个纪元结束时爆炸。这种特定行为的原因可能是什么?
MAPE 仍然随着每个 epoch 下降,所以这不是一个真正的问题,因为它没有阻碍训练过程?
【问题讨论】:
-
但是我可以看到 MAPE 正在减少。
-
@Peyman 它是,但是是什么导致了每个时代结束时的爆炸?它是否阻碍了培训过程?
-
可能不会。 MAPE 在其价值的意义上有点误导。 en.wikipedia.org/wiki/Mean_absolute_percentage_error#Issues
标签: python tensorflow keras lstm lstm-stateful