【问题标题】:Keras resume training on a new architectureKeras 恢复对新架构的培训
【发布时间】:2019-03-12 14:40:57
【问题描述】:

我正在尝试在对一个简单的 NN 架构进行修改后恢复它的训练。 在本例中,我使用 MNIST 数据集训练模型 2 个 epoch,然后将模型保存在 .h5 文件中。然后我重新加载模型,修改模型并重新编译它。但我想在我中断的地方重新开始训练。所以我想使用重新加载模型的优化器继续训练。代码如下:

MLP = keras.models.Sequential([
        keras.layers.Dense(100, activation='sigmoid', input_shape=(784,)),
        keras.layers.Dense(10, activation='softmax')
    ])
MLP.compile(optimizer=tf.keras.optimizers.Adam(lr=0.5), loss=tf.losses.log_loss, metrics=['accuracy'])
training_output = MLP.fit(x_train, y_train, epochs=2, validation_data=(x_val, y_val), verbose=2, initial_epoch=0)

MLP.save('test.h5')



MLP = keras.models.load_model('test.h5', custom_objects={'log_loss': log_loss})
modelt = MLP
modelt = # update modelt architecture


modelt.compile(optimizer=MLP.optimizer, loss=tf.losses.log_loss, metrics=['accuracy'])
training_output = modelt.fit(x_train, y_train, epochs=4, validation_data=(x_val, y_val), verbose=2, initial_epoch=2)

问题是:

Epoch 1/2

 - 1s - loss: 1.2690 - acc: 0.2216 - val_loss: 1.3097 - val_acc: 0.2095

Epoch 2/2

 - 1s - loss: 1.2859 - acc: 0.2030 - val_loss: 1.2420 - val_acc: 0.1760

Epoch 3/4

 - 1s - loss: 2.8945 - acc: 0.0993 - val_loss: 2.9367 - val_acc: 0.0890

Epoch 4/4

 - 1s - loss: 2.9035 - acc: 0.0993 - val_loss: 2.9367 - val_acc: 0.0890

培训仍然以某种方式陷入困境或更糟。我该如何解决这个问题?即使尝试实例化一个新的 Adam Optimizer 对象并重置我可以触摸的所有值,行为也不会改变。重用重新加载的优化器的正确程序是什么?

非常感谢您的帮助!

编辑: 模型的简单保存和重新加载会返回以下结果:

lr begin: 0.15811755
begin: [0.35258077597618104, 0.1265]
lr end: 0.25961164
end: [1.0754492826461792, 0.2785]
-------------------------------------------------------------
lr begin: 0.25961164
begin: [1.0754492826461792, 0.2785]
lr end: 0.34131044
end: [1.5968322057723998, 0.2185]
-------------------------------------------------------------
lr begin: 0.34131044
begin: [1.5968322057723998, 0.2185]
lr end: 0.3903688
end: [2.8819153175354004, 0.106]
-------------------------------------------------------------
lr begin: 0.3903688
begin: [2.8819153175354004, 0.106]
lr end: 0.42264876
end: [2.8819153175354004, 0.106]

【问题讨论】:

  • 您同时尝试了两件事。您能否首先检查您是否能够毫无问题地继续训练相同的架构?完成此步骤后,请尝试修改架构。
  • 损失值似乎在奇怪地移动,但模型已正确重新加载。 epoch 3 验证的起始损失与 epoch 2 结束时的验证损失相同。
  • 您究竟是如何更新模型架构的?
  • 我同意@ManojMohan。首先看看在不改变模型架构的情况下重新加载模型并继续训练是否有效
  • 我修改了问题,包括结果。我报告了每个 epoch 开始和结束时的学习率以及验证集的损失和准确性。

标签: python tensorflow optimization keras


【解决方案1】:

我已经进入聊天室与@TheNobleSix 讨论这个问题,并在那里得到了答案,但他没有在那里反馈我。所以,我写在这里是为了帮助其他用户将来可能遇到的类似问题。


重新加载模型时,您不应重新编译模型,如Keras documentation 中所述!这会导致优化器丢失其先前的状态。这就是当您尝试按照 cmets 中的建议单独完成任务的每个部分时发生的情况。

考虑到这一点,根据您想对模型进行哪些修改,可能不适合在同一点继续训练,或者很难调整更新后的模型以从同一点继续训练损失/准确度值。因此,参数数量的改变可能会极大地改变目标函数。例如,如果您更改层中的神经元数量或添加新层,则需要初始化新的神经元。一个可能的解决方法是在神经元之间重新分配层权重(如果是第一种情况)。这样做的结果是丢失了该层已经识别的可能模式。

我知道上一段非常投机。如果您描述了您在架构中所做的具体修改,我可以尝试为您提供有关模型更新部分的更准确的答案。

【讨论】:

    猜你喜欢
    • 2021-08-14
    • 2017-12-31
    • 1970-01-01
    • 2019-08-27
    • 2022-08-23
    • 2019-05-15
    • 1970-01-01
    • 2019-07-10
    相关资源
    最近更新 更多