多维张量作为张量流中 rnn 的输入 (tf.contrib.rnn.RNNCell)答案

【问题标题】：Multi-dimensional tensors as input to rnn in tensorflow (tf.contrib.rnn.RNNCell)多维张量作为张量流中 rnn 的输入 (tf.contrib.rnn.RNNCell)
【发布时间】：2019-02-10 07:49:28
【问题描述】：

来自关于 tf.contrib.rnn.RNNCell 的 tensorflow 文档：“这个单元格的定义与文献中使用的定义不同。在文献中，'cell' 是指具有单个标量输出的对象。这个定义是指此类单元的水平数组。”

看起来，rnn 单元只接受向量作为输入。但是，我想将图像/视频提供给 rnn（例如 [批量大小、步长、高度、宽度、通道]）。有没有办法使用 rnn 单元和动态 rnn 来做到这一点，还是我必须手动构造一个 rnn？

【问题讨论】：

标签： python tensorflow deep-learning computer-vision rnn

【解决方案1】：

正如你所说，RNN 只接受像 [batch_size, sequence_lentgh, features] 这样的张量作为输入。

为了使用 tensorflow 中的 RNN，您必须使用 CNN 为每一帧提取特征，并将 CNN 输出数据转换为遵循 [batch_size, sequence_lentgh, features] 形状的张量，以便将其提供给 RNN .

【讨论】：

谢谢。由于我使用的是完全卷积网络，因此我将无法使用它。我很确定 rnn 单元格也不接受 None 类型的尺寸，即使我会再次重塑图像的输入并在单元格内使用卷积...
在 tensorflow 中内置更抽象的单元格类型以与动态 rnn 一起使用会很好。