在 tensorflow 中用不同的数据集训练相同的模型

Question

问题： 我有一个模型，我想用独立的数据集进行训练。之后，我想提取每个模型的权重（每个实例的模型相同，但使用不同的数据集进行训练），最后计算并平均这些权重。基本上，我的目的是模拟在多个设备上运行的 tensorflow，然后平均它们的权重，以便它们被一个模型使用。

我的解决方案： 我多次将此模型添加到 tensorflow，目前正在使用其独特的数据集分别训练这些模型中的每一个。但这是使用 GB 的内存，我想知道是否有更好的方法来做到这一点？

Answer 1

其中一个可能的解决方案是你可以用其他类似的网络微调你的网络权重（类似的数据集，即如果你的数据集是图像，你可以使用 AlexNet 权重）不要害怕如果你的网络没有相同的架构，您可以通过'load_with_skip'函数简单地加载所需的层权重 https://github.com/joelthchao/tensorflow-finetune-flickr-style/blob/master/network.py

微调比从头开始训练网络要少得多。