如何在 TensorFlow Object Detection API 中保留类特定权重的同时重置类

Question

我目前正在使用 TensorFlow Object Detection API 并尝试从模型动物园微调预训练的 Faster-RCNN。目前，如果我选择与原始网络中使用的数量不同的类数，它根本不会从SecondStageBoxPredictor/ClassPredictor 初始化权重和偏差，因为它现在与原始ClassPredictor 具有不同的维度。但是，由于我想要训练网络的所有类都是原始网络已经被训练识别的类，我想保留与我想在SecondStageBoxPredictor/ClassPredictor 中使用的类相关的权重和偏差并修剪所有其他的，而不是简单地从头开始初始化这些值（类似于this function 的行为）。

这可能吗？如果可以，我将如何在 Estimator 中修改这一层的结构？

n.b. This question 提出了类似的问题，他们的回应是从网络输出中忽略不相关的类 - 然而，在这种情况下，我正在尝试微调网络，并且我认为这些冗余类的存在会使训练/评估复杂化过程？

Answer 1

如果您要训练网络的所有类都是网络已被训练识别的类，那么您可以简单地使用网络进行检测，不是吗？

但是，如果您有额外的课程并且想要进行迁移学习，您可以通过设置从检查点恢复尽可能多的变量：

fine_tune_checkpoint_type: 'detection'
load_all_detection_checkpoint_vars: True

在管道配置文件中的字段train_config 中。

最后通过计算图可以看出SecondStageBoxPredictor/ClassPredictor/weights的形状取决于输出类的数量。

注意，在tensorflow中你只能在变量级别进行还原，如果两个变量的形状不同，一个不能用一个来初始化另一个。因此，在您的情况下，保留 weights 变量的某些值的想法是不可行的。