【问题标题】:Inconsistency for decreasing loss减少损失的不一致
【发布时间】:2017-03-28 14:54:13
【问题描述】:
  • [x] 检查您是否与 Keras 的 master 分支保持同步。您可以更新: pip install git+git://github.com/fchollet/keras.git --upgrade --no-deps

  • [x] 如果在 TensorFlow 上运行,请检查您是否使用最新版本。安装说明可以在here找到。

  • [x] 提供一个 Python 脚本的 GitHub Gist 链接,该脚本可以重现您的问题(或者如果脚本很短,只需在此处复制)。

大家好,我一直在用这个脚本Python script 问题是我每次都无法产生类似的结果。 有时,我可以产生类似的结果(在 500 个 epoch 内损失 0.3~),但有时在 1500 个 epoch 后我仍然会损失 3.x。我不确定这是一个错误还是因为算法只是停留在局部最小值。

另外,我调整收盘价(不除以100),将学习率提高100倍后,问题依旧,卡在亏损30000,大家觉得有什么可以改善的吗?型号?

【问题讨论】:

  • 您尝试过不同的优化器吗?有时 lstms 与 Adam 或 Adadelta 而不是 RMSPROP 一起工作得更好。
  • 感谢 Thomas,我使用的是 Adam,现在我正在尝试使用 Adadelta。让我稍后更新给你。
  • 顺便说一句,由于 notebook 发布的同时,有一个新的 keras 和 tensorflow 主要版本,所以使用最新版本或 master 分支可能不是正确的重现方式。
  • 通过使用没有relu层和Adam优化器的模型,对于已经被100整除的数据集可以实现低损失。但是用它来训练没有被100整除的数据集,还是卡住了。我尝试将第一个 LSTM 层中的神经元数量增加到 1024,但问题仍然存在。
  • 好消息,您可能希望事先对数据进行标准化,使其具有 0 均值和单位方差。

标签: machine-learning tensorflow deep-learning keras data-science


【解决方案1】:

通过规范化特征集,它现在可以正常工作了。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-10-26
    • 1970-01-01
    • 2020-02-08
    • 2021-11-07
    • 2020-06-06
    • 1970-01-01
    • 2020-02-28
    • 2018-12-15
    相关资源
    最近更新 更多