视频地面实况的最佳实践？

Question

我想训练一个深度学习框架 (TensorFlow) 以使用新的对象类别进行对象检测。

作为地面实况的来源，我有多个包含对象的视频文件（只有部分图像包含对象）。

我应该如何验证视频的真实性？即使这些视频帧非常相似，我是否应该逐帧提取并标记每一帧？或者这样的任务的最佳实践是什么？

首选开源工具。

Answer 1

它通常如您所描述的那样工作。至少对于零次迭代：

1. 收集所需示例（视频）
2. 从视频中提取有价值的帧（手动或部分自动过程）
3. 使用 OpenCV（或任何其他工具）提取所需的细节（边界框、准确的蒙版）
4. 组装训练集
5. 训练模型

这是一个训练集示例，由上述方法生成 (see it in action)

对于迭代一，您可以使用迭代零模型并显着改进第 2 步和第 3 步以进一步增加训练集。

我正在尝试解决几乎相同的问题，因为很难生成训练集来获得准确的分割：

（同样，here it is in action 和 other examples）

基本上，从半手动方法开始，然后尝试发展。