从视频中提取非冗余图像

Question

我正在为一个项目收集数据。数据收集是通过记录受试者和环境的视频来完成的。但是，在训练网络时，我不想用视频序列中收集的所有图像来训练它。

主要目标是不使用冗余图像训练网络。以 30 帧/秒采集的视频序列在短时间间隔内可能会出现冗余图像（非常相似的图像）。 T(th) 帧和 (T+1)th 帧可以相似。

有人能建议一些方法来只提取对训练有用的图像吗？

Answer 1

更新 #2： 更多资源，

https://github.com/JohannesBuchner/imagehash

https://www.pyimagesearch.com/2017/11/27/image-hashing-opencv-python/

https://www.pyimagesearch.com/2020/04/20/detect-and-remove-duplicate-images-from-a-dataset-for-deep-learning/

更新 #1：您可以使用此存储库来计算给定图像之间的相似度。 https://github.com/quickgrid/image-similarity**

如果包含某些对象（例如，车辆、设备）的帧很重要，则使用pretrained object detectors（如果可用）提取重要帧。

接下来，使用similarity method 删除附近帧中的相似图像。直到超过选定的threshold，继续删除附近的N 帧。

此链接应该有助于为您的案例找到正确的方法，

https://datascience.stackexchange.com/questions/48642/how-to-measure-the-similarity-between-two-images

下面的这个存储库应该有助于用几行代码实现这个想法。它使用 CNN 来提取特征，然后计算那里提到的余弦距离。

https://github.com/ryanfwy/image-similarity