用于时间相关特征的卷积神经网络答案

【问题标题】：Convolutional Neural Network for time-dependent features用于时间相关特征的卷积神经网络
【发布时间】：2015-10-11 00:53:08
【问题描述】：

我需要对一系列图像进行降维处理。更具体地说，每个图像都是一个球运动的快照，最佳特征是它的位置和速度。据我所知，CNN 是减少图像分类特征的最先进技术，但在这种情况下，只提供一个帧。给定不同时间步长的许多图像，是否也可以提取与时间相关的特征？否则，这样做的最先进技术是什么？

这是我第一次使用 CNN，我也非常感谢任何参考或任何其他建议。

【问题讨论】：

【解决方案1】：

如果您希望能够让网络以某种方式识别与时间相关的进程，您可能应该研究循环神经网络 (RNN)。由于您将在视频上进行操作，因此您应该研究循环卷积神经网络 (RCNN)，例如：http://jmlr.org/proceedings/papers/v32/pinheiro14.pdf

循环增加了输入数据先前状态的一些记忆。看看 Karpathy 的这个很好的解释：http://karpathy.github.io/2015/05/21/rnn-effectiveness/

在您的情况下，您需要在多张图片中重复出现，而不仅仅是在一张图片中。您需要解决的第一个问题似乎是图像分割问题（能够从图像的其余部分中挑选出球），上面链接的第一篇论文涉及分割。（再一次，也许你正试图利用移动来识别移动的物体？）

这是另一个想法：也许您只能查看连续帧之间的差异并将其用作您的 convnet 的输入数据？然后，输入的“图像”将显示移动对象在前一帧中的位置以及在当前帧中的位置。较大的差异将表明较大的运动量。这可能会产生与使用循环网络类似的效果。

【讨论】：

谢谢！ RCNN 似乎是我需要的，而且这篇论文非常有趣。我想我应该尝试这样的事情：我给 RCNN X 连续图片，它应该给我一个很好的近似表示场景的特征，同时考虑到球运动的差异。