使用对象检测模型作为特征提取器

Question

我有使用对象检测 API 训练的 mask-rcnn 模型来检测一些对象。现在我有其他任务需要对这些图像（以及其他功能）进行回归。 是否可以使用经过训练的 mask-rcnn 模型作为特征提取器（类似于迁移学习的工作原理）并将最后一层（或多层）更改为其他任务？

Answer 1

Mask r-cnn 创建一个共享特征图，用于对 RPN 区域进行预测。通过对对象检测 API 稍作调整，您可以提取包含给定区域特征的张量。通常这些功能用于框/掩码预测，但您可以将其用于其他任何用途。

如果您只需要它作为特征提取器（它保持冻结状态），这应该可以工作。 如果你真的想根据进一步的下游结果继续训练 mask r-cnn，这使用对象检测 API 变得更加困难，因为你必须连接所有东西并修改一堆 TF 训练代码。在这种情况下，您可能会考虑构建自己的模型，或者根据问题采用不同的方法。