如何将图像序列输入卷积层并在之后应用 conv-lstm 单元？答案

【问题标题】：How to feed image sequences to convolutional layers and apply conv-lstm cells after?如何将图像序列输入卷积层并在之后应用 conv-lstm 单元？
【发布时间】：2019-01-08 16:03:17
【问题描述】：

我目前正在尝试实现以下论文：https://research.nvidia.com/sites/default/files/publications/dnn_denoise_author.pdf

我在调整目前仅处理单个图像的网络以处理图像序列时遇到了麻烦。我的数据具有以下形状：(7, 512, 512, 1)，其中 7 是我序列中的帧数，512 是图像的宽度和高度，1 是通道数。

我的问题是如何通过卷积层传递序列？（我看到的其他此类问题的 conv3d 建议似乎很奇怪，因为我有 7 帧）。然后，我希望将卷积层的结果传递给 ConvLSTM 块，但是，考虑到卷积和最大池化之后获得的特征图，这是否可能？（使用 ConvLSTM 块的其他答案仅指将它们直接应用于序列）。此操作的结果将再次被馈送到卷积和 maxpooling 等。

我还检查了涉及 CNN 和 RNN 的其他问题，我正在考虑使用 TimeDistributed(...(...)) 类型的函数，但我不确定我是否朝着正确的方向前进.任何建议都非常受欢迎。

感谢您的宝贵时间！

【问题讨论】：

标签： python image sequence lstm recurrent-neural-network

【解决方案1】：

我面临着类似的情况，我有 n 帧序列，我想预测给定序列之后的下一帧，解决方案是通过网络转发图像 n 并从帧 n+1 中丢失并重复（n+ 1、n+2 等）。希望我理解正确。

【讨论】：

对于我的第一个问题，我从这个答案中得到了答案：stackoverflow.com/questions/50786077/…。但是，我不确定它是否是您需要的，如果您想一次从一个序列中转发一个图像..