【发布时间】:2021-03-28 22:48:40
【问题描述】:
我有一个视频数据集。由于数据集很小,我正在尝试扩充视频数据。我还没有找到任何关于增强视频的资源,所以我认为可行的是 -
- 从视频中提取所需帧
- 对提取的帧应用数据增强
现在,假设我从一个视频中提取了 20 帧。为了使我的数据有意义,我必须对这 20 帧应用相同的增强。我怎样才能做到这一点?如果它使工作变得容易,我也对其他库开放。
我猜想对 ImageDataGenerator.flow_from_directory(...) 参数进行一些更改就可以解决问题。这是 Keras 文档中的代码 sn-p。
ImageDataGenerator.flow_from_directory(
directory,
target_size=(256, 256),
color_mode="rgb",
classes=None,
class_mode="categorical",
batch_size=32,
shuffle=True,
seed=None,
save_to_dir=None,
save_prefix="",
save_format="png",
follow_links=False,
subset=None,
interpolation="nearest",
)
提前谢谢你!
【问题讨论】:
-
尝试设置
batch_size等于number _of_frames,或者创建自己的custom generator -
我不确定对同一视频中的图像应用相同的增强是否是这种情况下的最佳方法。虽然正如您所说,它确实更“有意义”,但我认为具有不同的增强可能会迫使网络真正关注数据序列中的不变量,并最终可能有助于过度拟合。但它可能确实需要更多数据。
标签: python tensorflow image-processing keras data-augmentation