Keras：重塑以连接 lstm 和 conv答案

【问题标题】：Keras: reshape to connect lstm and convKeras：重塑以连接 lstm 和 conv
【发布时间】：2017-03-06 08:44:51
【问题描述】：

这个问题也以github issue 的形式存在。我想在 Keras 中构建一个包含 2D 卷积和 LSTM 层的神经网络。

网络应该对 MNIST 进行分类。 MNIST 中的训练数据是 60000 张手写数字从 0 到 9 的灰度图像。每张图像是 28x28 像素。

我已将图像分成四部分（左/右、上/下）并按四个顺序重新排列它们以获得 LSTM 的序列。

|     |      |1 | 2|
|image|  ->  -------   -> 4 sequences: |1|2|3|4|,  |4|3|2|1|, |1|3|2|4|, |4|2|3|1|
|     |      |3 | 4|

其中一个小子图像的尺寸为 14 x 14。四个序列沿宽度堆叠在一起（无论是宽度还是高度）。

这将创建一个形状为 [60000, 4, 1, 56, 14] 的向量，其中：

60000 是样本数
4 是序列中的元素数（时间步数）
1 是颜色深度（灰度）
56 和 14 是宽度和高度

现在应该将其提供给 Keras 模型。问题是改变 CNN 和 LSTM 之间的输入维度。我在网上搜索，发现了这个问题：Python keras how to change the size of input after convolution layer into lstm layer

解决方案似乎是一个 Reshape 层，它使图像变平但保留时间步长（而不是一个 Flatten 层，它会折叠除了 batch_size 之外的所有东西）。

到目前为止，这是我的代码：

nb_filters=32
kernel_size=(3,3)
pool_size=(2,2)
nb_classes=10
batch_size=64

model=Sequential()

model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1],
    border_mode="valid", input_shape=[1,56,14]))
model.add(Activation("relu"))
model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1]))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=pool_size))


model.add(Reshape((56*14,)))
model.add(Dropout(0.25))
model.add(LSTM(5))
model.add(Dense(50))
model.add(Dense(nb_classes))
model.add(Activation("softmax"))

此代码创建错误消息：

ValueError: 新数组的总大小必须不变

显然 Reshape 层的输入不正确。作为替代方案，我也尝试将时间步传递给 Reshape 层：

model.add(Reshape((4,56*14)))

这感觉不对，无论如何，错误保持不变。

我这样做是否正确？ Reshape 层是连接 CNN 和 LSTM 的合适工具吗？

这个问题有相当复杂的方法。比如这样： https://github.com/fchollet/keras/pull/1456 一个 TimeDistributed 层，似乎对后续层隐藏了时间步长维度。

或者这个：https://github.com/anayebi/keras-extra 一组用于组合 CNN 和 LSTM 的特殊层。

如果简单的 Reshape 可以解决问题，为什么会有如此复杂（至少在我看来很复杂）的解决方案？

更新：

令人尴尬的是，我忘记了池化和（由于缺少填充）卷积也会改变尺寸。 kgrm 建议我使用 model.summary() 检查尺寸。

Reshape层之前的层的输出是(None, 32, 26, 5), 我将 reshape 更改为：model.add(Reshape((32*26*5,)))。

现在 ValueError 消失了，取而代之的是 LSTM 抱怨：

异常：输入 0 与层 lstm_5 不兼容：预期 ndim=3，发现 ndim=2

看来我需要通过整个网络传递时间步长维度。我怎样才能做到这一点？如果我将它添加到卷积的 input_shape 中，它也会抱怨：Convolution2D(nb_filters, kernel_size[0], kernel_size[1], border_mode="valid", input_shape=[4, 1, 56,14])

异常：输入 0 与层卷积 2d_44 不兼容：预期 ndim=4，发现 ndim=5

【问题讨论】：

你可以简单地采用reshape操作：stackoverflow.com/a/63789979/10375049

标签： python machine-learning neural-network theano keras

【解决方案1】：

根据Convolution2D 的定义，您的输入必须是4 维的，尺寸为(samples, channels, rows, cols)。这是您收到错误的直接原因。

要解决这个问题，您必须使用 TimeDistributed 包装器。这使您可以随时使用静态（非循环）层。

【讨论】：