如何训练人工智能以去除视频背景？ [关闭]

Question

如何训练人工智能在视频中进行背景去除和人体提取？

哪种 AI 算法最适合人体提取？

Answer 1

我不能说哪种算法真正适合这项任务。 由于它基本上是处理图像/视频数据的任务，因此您可能会先尝试使用 CNN 进行深度学习。

您可以单独处理每一帧，也可以处理整个视频。两者之间也有多种选择。

单帧

一次处理一帧会使您的问题变得简单。 它简化为图像分割/背景分离任务。

您可以从文献中的预训练 CNN 架构开始，例如 VGGNet、Inception、Resnet。删除最后一层并使其适合您的问题。

缺点是您将自己限制在单帧中会丢失大量信息。

小窗户

您可以通过将一些过去（甚至未来）的框架输入到您的架构中来考虑更多信息。或者，您也可以计算一些梯度（如光流）作为特征并将它们添加到您的图像中。

通过这种方法，您仍然可以使用 CNN 架构。

长序列RNN

如果您想处理更长的序列，并且可能以一种有希望的有效方式，您应该研究循环神经网络。 随着时间的推移，您将重复出现，并在空间维度上进行卷积。在我看来，这是完成这项任务的最佳架构。

它还允许在线处理实时视频。