如何将 RNN 与 CNN 结合起来？

Question

我正在尝试将 LSTM 与 CNN 相结合，但由于错误而卡住了。 这是我正在尝试实现的模型：

model=Sequential()
model.add(Conv2D(32, (3, 3), input_shape=(28, 28,3), activation='relu'))
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(32, activation='relu'))
model.add(LSTM(128, return_sequences=True,input_shape=(1,32), activation='relu'))
model.add(LSTM(256))
model.add(Dropout(0.25))
model.add(Dense(37))
model.compile(loss='categorical_crossentropy', optimizer='adam')

第一个 LSTM 层发生错误：

ERROR: Input 0 is incompatible with layer lstm_12: expected ndim=3, found ndim=2

Answer 1

LSTM 层的输入应该是一个 3D 数组，它代表一个序列或时间序列（这就是错误要说的：expected ndim=3）。但是，在您的模型中，LSTM 层的输入，实际上是它之前的密集层的输出，是一个二维数组（即found ndim=2）。要将其制成形状为(n_samples, n_timesteps, n_features) 的 3D 数组，一种解决方案是使用RepeatVector 层重复它的时间步数（您需要在代码中指定）：

model.add(Dense(32, activation='relu'))
model.add(RepeatVector(n_timesteps))
model.add(LSTM(128, return_sequences=True, input_shape=(n_timesteps,32), activation='relu'))