在视频数据集上训练？答案

【问题标题】：Training on a video dataset?在视频数据集上训练？
【发布时间】：2020-06-25 04:00:06
【问题描述】：

我正在使用 Standford Drone Dataset，它由带注释的视频组成，我正在接受培训以了解如何进行培训。你可以只训练视频吗？我假设您必须将视频剪切成帧，如果是这样，有人知道自动化的示例吗？

【问题讨论】：

【解决方案1】：

您必须提取视频帧以进行训练。

import cv2
video = cv2.VideoCapture(path) 
success = 1  
while success: 
    success, image = video.read() 
    #Here you can either save the frame or directly use it in training.
    cv2.imwrite("frame.png",image) #This will save the image/frame to file named frma.png

如上面的代码所示，您可以将帧一一保存到您的训练数据文件夹，也可以将其作为输入提供给您的 CNN（将节省时间和内存来保存文件）。

你也可以看看python的opencv库。

【讨论】：

感谢您的回复。我担心的是确保提取的帧与注释匹配，或者这不会成为问题，因为 OpenCV 只会分离构成视频的帧？
我认为训练数据集不会有任何问题。
不确定你的意思，但我确实按照建议做了，尽管我使用了一个工具来做到这一点。我现在正在编写一个工具来切割大图像并保留边界框。谢谢

【解决方案2】：

您的数据集有多大？取决于此，我不确定 Jaydip 的回答是否有意义，因为它需要多长时间才能转换为帧。我发现没有好的工具，所以我一直在构建一个名为 Sieve 的 API。它基本上会获取您所有的原始视频数据，并使其可以通过运动、对象等内容进行搜索，因此您可以从任何原始视频中导出您想要的确切帧。

虽然您无法将特定注释与视频一起上传，但我们允许您下载元数据，其中包含帧编号、视频名称以及可帮助您将现有注释与帧相关联的更多信息。

看看这个回购：https://github.com/Sieve-Data/automatic-video-processing。更具体地说，如果您想上传本地视频，可以查看sieve_helpers.py 文件。

【讨论】：