需要针对实时视频进行对象检测和运动分类的建议答案

【问题标题】：Need advice for object detection and motion classification on real time video需要针对实时视频进行对象检测和运动分类的建议
【发布时间】：2020-02-10 04:32:14
【问题描述】：

我正在为我的期末项目进行研究，我想像 amazon 那样进行对象检测和运动分类，我已经阅读了很多研究，例如使用 SSD 或 YOLO 进行对象检测以及使用 CNN+LSTM 进行视频分类，我想提出这样的训练算法：

使用 SSD/YOLO 实时检测多个对象（在我的例子中：人）
获取边界对象并裁剪框架
将裁剪后的帧信息输入 CNN+LSTM 算法以进行运动预测（如果该人正在行走/拿取物品）

是否可以在实时环境中制作？或者有没有更好的实时检测和运动分类方法

【问题讨论】：

标签： machine-learning computer-vision artificial-intelligence object-detection yolo

【解决方案1】：

如果你想在实时应用中使用它，还必须考虑其他一些在实际环境中执行算法之前没有出现的事情。

关于您提出的 3 步方法，它已经可能是一个好的方法，但第一步会非常准确。我认为最好将这三个步骤合二为一。因为人的运动类型是一个人的一个很好的特征。因此，我认为所有步骤都可以一步到位。

我的想法如下： 1. 一个视频分类数据集，只标记人或物体的运动 2.基于cnn-lstm的视频分类方法

这将正确解决您的项目。

这个答案需要更详细，如果你有兴趣，我可以更详细地回答你。

【讨论】：

谢谢你的回复，我也是这么想的，但是如果我们只是使用cnn+lstm，是否需要对每帧图像进行大量计算，因为图像很大，并且如果我们先裁剪检测到的对象，计算成本会不会降低，测试也会更准确？
是的，你在某种程度上是正确的，但是当你只想识别人和物体之间，并且你有视频帧时，通过使用一些视频帧，由于人的移动，你可以在你的神经网络的顶层第一层检测人，这不是那么昂贵。可能是我提出的方法有一些问题，如果是，如果您通知我，我会很高兴。 :)

【解决方案2】：

几乎有同样的问题。运动预测在复杂的现实生活中效果不佳。这是一个简单的：

(See in action)

我正在构建一个 4K 视频处理工具 (some examples)。当前的方法如下所示：

进行粗略但超快速的分割
提取边界框和形状
应用一些“元视觉魔法”
在识别区域内进行精确分割

(See in action)

到目前为止，与运动跟踪相比，该方法看起来更加灵活。

“元视觉”旨在正确跟踪形状演变： (See in action)

让我们比较一下：

【讨论】：

哇，这么棒的工作，4k 视频的精度如此之高，速度如此之快，我想知道您使用什么分割方法？什么是元视觉？有什么相关的论文吗？
我认为你所做的并不简单，所以我想讨论一下我的情况，如果我使用姿势估计（深度姿势等）并将该方法中的值输入 cnn+lstm
我使用基于 delta E 的多色图像分割的自定义实现。至于“元视觉”它只是跨帧对象跟踪的内部名称。您的案例非常棘手（由于时间限制等），因此任何两步方法都值得尝试，包括 (1) 快速但粗略的结果后来用于缩小区域以进行 (2) 精确但耗时的处理。跨度>
让我们假设你有 8K 流（无论如何我们应该为未来构建）。不用说，您必须确定更小的区域以进行任何进一步的复杂处理（步骤＃1）。可以使用更复杂的逻辑并行评估所有较小的区域。你打算做一些实验还是构建一个小型 PoC？