【发布时间】:2017-03-28 14:54:13
【问题描述】:
[x] 检查您是否与 Keras 的 master 分支保持同步。您可以更新: pip install git+git://github.com/fchollet/keras.git --upgrade --no-deps
[x] 如果在 TensorFlow 上运行,请检查您是否使用最新版本。安装说明可以在here找到。
[x] 提供一个 Python 脚本的 GitHub Gist 链接,该脚本可以重现您的问题(或者如果脚本很短,只需在此处复制)。
大家好,我一直在用这个脚本Python script 问题是我每次都无法产生类似的结果。 有时,我可以产生类似的结果(在 500 个 epoch 内损失 0.3~),但有时在 1500 个 epoch 后我仍然会损失 3.x。我不确定这是一个错误还是因为算法只是停留在局部最小值。
另外,我调整收盘价(不除以100),将学习率提高100倍后,问题依旧,卡在亏损30000,大家觉得有什么可以改善的吗?型号?
【问题讨论】:
-
您尝试过不同的优化器吗?有时 lstms 与 Adam 或 Adadelta 而不是 RMSPROP 一起工作得更好。
-
感谢 Thomas,我使用的是 Adam,现在我正在尝试使用 Adadelta。让我稍后更新给你。
-
顺便说一句,由于 notebook 发布的同时,有一个新的 keras 和 tensorflow 主要版本,所以使用最新版本或 master 分支可能不是正确的重现方式。
-
通过使用没有relu层和Adam优化器的模型,对于已经被100整除的数据集可以实现低损失。但是用它来训练没有被100整除的数据集,还是卡住了。我尝试将第一个 LSTM 层中的神经元数量增加到 1024,但问题仍然存在。
-
好消息,您可能希望事先对数据进行标准化,使其具有 0 均值和单位方差。
标签: machine-learning tensorflow deep-learning keras data-science