冻结 keras 层会减少训练所需的内存吗？

【问题标题】：Does freezing keras layers reduce memory needed for training?冻结 keras 层会减少训练所需的内存吗？
【发布时间】：2019-11-25 18:13:39
【问题描述】：

我有一个无法放入我的 vram 的大型模型的预训练权重。如果我冻结层，训练所需的内存会减少吗？如果是这样，冻结的层权重不会保存在 vram 中？

【问题讨论】：

【解决方案1】：

冻结权重是模型参数的一部分。因此，如果您冻结它们，唯一的情况是不会对它们进行任何计算（注意：这往往是正确的，但并不总是正确的），因此优化会更快。由于它们仍然是整个优化过程的一部分，在优化（训练）期间，它们将被加载到 GPU 内存中，就像它们没有被冻结一样。

【讨论】：