如何从视频中生成数据集以用于计算机视觉中的视频分类？

Question

我正在尝试为视频分类构建数据集。我正在研究一个不存在数据集的特定项目。我的任务是将视频或视频中的场景分类为某个类别。计算机视觉专家可以分享这项任务的策略吗？步骤是什么？我觉得我将从视频创建图像数据集开始。是这样吗？或者请详细说明。

Answer 1

我认为问题是关于生成训练集的快速而直接的方法。如前所述，手动构建合适的数据集可能是一场噩梦。

通过创建专门的视频处理工具解决了类似的问题。以下是嘴唇训练集的示例：

(see details)

我正在尝试精确分割，因此需要该工具来避免与详细对象形状轮廓相关的所有痛苦。

可以在几个关键步骤中指定该方法：

1. 提高对象/场景的视频质量
2. 提高对象可见性（颜色、对比度等）
3. 查找或开发有限的工具集，帮助您自动提取对象
4. 收集适合工具集的视频样本
5. 使用工具集创建训练集
6. 使用生成集来训练一种更高级的模型，可以作为解决您问题的通用解决方案

例如，Les Twins 动作可用于收集有关普通衬衫的信息。

(see in action)

如果需要获取特定于蚱蜢的训练集，YouTube 也会提供帮助：

(see in action)

这里是more examples。