为什么“load_model”在预测时会导致 RAM 内存问题？

Question

我训练了神经网络（变压器架构）并使用以下方法保存了它：

model.save(directory + args.name, save_format="tf")

之后，我想用另一个脚本再次加载模型，通过让它进行迭代预测来测试它：

from keras.models import load_model

model = load_model(args.model)
for i in range(very_big_number):
    out, _ = model(something, training=False)

但是，我注意到每次预测都会增加 RAM 使用量，但我不知道为什么。在某些时候程序停止，因为没有更多的可用内存。您还可以在以下屏幕截图中看到 RAM 消耗：

如果我使用相同的架构，但只使用model.load_weigts( ... ) 加载模型的权重，我没有问题。

我现在的问题是，为什么load_model 似乎会导致这个问题，我该如何解决这个问题？

我使用的是 tensorflow 2.5.0。

编辑：

由于我无法解决问题并且答案也无济于事，我只是使用load_weights 方法创建了一个新模型并像这样加载已保存模型的权重：

model = myModel()
saved_model = load_model(args.model)
model.load_weights(saved_model + "/variables/variables")

这样，RAM 的使用率保持不变。然而，在我看来，这是一个非最佳解决方案。

Answer 1

load_model 和 load_weights 之间存在根本区别。当您使用 save_model 保存模型时，您会保存以下内容：

一个 Keras 模型由多个组件组成：

• 架构或配置，用于指定模型包含哪些层以及它们的连接方式。
• 一组权重值（“模型的状态”）。
• 优化器（通过编译模型定义）。
• 一组损失和指标（通过编译模型或调用 add_loss() 或 add_metric())。

但是，当您使用 save_weights 保存权重时，您只会保存权重，这对于 inference 的目的很有用，而当您想要恢复训练过程时，您需要一个 model 对象，即是我们将所有内容保存在模型中的原因。当您只想预测并获得结果时，save_weights 就足够了。想了解更多，可以查看save/load models的文档。

因此，正如您在执行load_model 时所看到的，与load_weights 相比，它需要加载很多东西，因此它会产生更多的开销，从而导致您的RAM 使用量。