Tensorflow 对象检测 API 无法正确检测对象/根本不检测对象

Question

我已遵循代码的整个步骤/格式（多次交叉检查以确保 100% 正确）以及在 Tensorflow 对象检测 API 上训练自定义对象所需的数据。我尝试使用 ssd_mobilenet_v1_coco、faster_rcnn_resnet101_coco 以及 faster_rcnn_inception_v2_coco 模型，但仍然没有得到任何好的结果。我得到的只是对象分类错误或根本没有边界框。

我正在训练检测单个类对象，其中训练图像数量约为 250，验证图像数量为 63；并且每个大小不同的图像大多约为 300 x 300 像素或更小。我正在训练模型，直到它们收敛（不完全）。我通过查看在超过 15000 步时显示的 eval 性能知道这一点，随着时间的推移，损失逐渐减少（至

我非常怀疑为解决对象检测而提供的测试视频。视频帧非常大，尺寸为 1370 x 786 像素，其中我需要检测的对象与帧大小相比非常小。这是导致问题的原因吗？因为我的训练图像很小（300 x 300 或更小），而我的测试视频帧与训练图像相比太大了？我尝试了几次训练，但每个模型每次都失败了，我陷入了想要放弃这一点的地步。

有人能解释一下这里发生了什么吗？我应该训练更多步骤吗？或者我应该训练与测试帧中相似的尺寸图像进行训练吗？这会有帮助吗？

以下是我使用的配置文件和labelmap.pbtxt的代码。

配置文件：

    fine_tune_checkpoint: ".../ssd_mobilenet_v1_coco_2017_11_17/model.ckpt"
  from_detection_checkpoint: true
  num_steps: 200000
  data_augmentation_options {
    random_horizontal_flip {
    }
  }
  data_augmentation_options {
    ssd_random_crop {
    }
  }
}

train_input_reader: {
  tf_record_input_reader {
    input_path: ".../train.record"
  }
  label_map_path: ".../labelmap.pbtxt"
}

eval_config: {
  num_examples: 63

labelmap.pbtxt：

item {
  id: 1
  name: 'tomato'
}

Answer 1

或者我是否也应该训练与测试帧中相似尺寸的图像进行训练？这会有帮助吗？

根据您的解释，这正是您需要做的。

您不应期望在 300x300 图像上训练的网络能够按预期在 1370x786 图像上工作。特别是如果对象在大图像中已经很小。

您的训练数据必须与您的评估数据尽可能相似，而不是进入危险的过度拟合区域。至少图像必须具有相似的大小和纵横比并且来自相同的域

一旦您解决了这个问题，请记住小物体确实很难检测到，因此您可能需要修改默认模型配置。

如果您没有实时限制，我建议您先尝试 Faster-RCNN，将 output_stride 参数设置为 8 而不是 16。