KERAS：CNN 模型的预训练，然后将其用于 CNN-LSTM 模型

Question

我有这个 cnn 模型：

model = Sequential()
model.add(Convolution2D(32, (3, 3), activation='relu', input_shape=(n_rows,n_cols,1)))
model.add(Convolution2D(32, (3, 3), activation='relu'))
model.add(AveragePooling2D(pool_size=(1,3)))
#...
model.add(Flatten())

model.add(Dense(1024, activation='relu')) #needed?
model.add(Dense(3)) #default linear activation

然后训练它

在我想使用这个 CNN 的权重之后，在 CNN-LSTM 模型中使用它们。

所以我有这样的事情：

#Load from previous CNN (pre-trained!) (up to Flatten()) and use TimeDistributed on them
model.add(LSTM(1024, activation='relu', return_sequences=True))
model.add(LSTM(1024, activation='relu'))
model.add(Dense(3))

这有意义吗？怎么可能做到呢？ 非常感谢！

Answer 1

你可以这样做。但是，为了成功实现这个新模型，您需要使用 Functional API (https://www.tensorflow.org/guide/keras/functional) 来实现。

下面我将举例说明如何向预训练模型添加新层。

# Initialize the base model
# Say that this is the cnn model which is pretrained
base_model = cnn_model(input_shape=(n_rows, n_cols, 1))
base_model.trainable = False

# Adding the first lstm layer
x = tf.keras.layers.LSTM(1024,activation='relu',return_sequences='True')(base_model.output)

# Adding the second lstm layer
x = tf.keras.layers.LSTM(1024, activation='relu',return_sequences='False')(x)

# Adding the output
output = tf.keras.layers.Dense(3,activation='linear')(x)

# Final model creation
model = Model(inputs=[base_model.input], outputs=[output])