在 Keras 中使用 Stateful LSTM 与 mini-batching 和可变时间步长输入？答案

【问题标题】：Use Stateful LSTM with mini-batching and input with variable time steps, in Keras?在 Keras 中使用 Stateful LSTM 与 mini-batching 和可变时间步长输入？
【发布时间】：2017-02-10 05:15:18
【问题描述】：

我是 Keras 的新手，正在尝试实施这个网络

此网络将视频帧视为 x = {x1,........,xT}，其中 T 是视频中的帧数，x 是帧的视觉特征大小为 2048

我尝试使用有状态 LSTM，因为每个样本都有许多帧作为参考 here

这是我的模型

x = Input(batch_shape=(1, None, 2048), name='x')
lstmR = LSTM(256, return_sequences=True, name='lstmR', stateful=True)(x)
lstmL = LSTM(256, return_sequences=True, go_backwards=True,name='lstmL', stateful=True)(x)
merge = merge([x, lstmR, lstmL], mode='concat', name='merge')
dense = Dense(256, activation='sigmoid', name='dense')(merge)
y = Dense(1, activation='sigmoid', name='y')(dense)
model = Model(input=x, output=y)
model.compile(loss='mean_squared_error',
          optimizer=SGD(lr=0.01),
          metrics=['accuracy'])

并尝试使用小批量训练模型

for epoch in range(15):
    mean_tr_acc = []
    mean_tr_loss = []
    for i in range(nb_samples):
        x, y = get_train_sample(i)
        for j in range(len(x)):
            sample_x = x[j]
            tr_loss, tr_acc = model.train_on_batch(np.expand_dims(np.expand_dims(sample_x, axis=0), axis=0),np.expand_dims(y, axis=0))
            mean_tr_acc.append(tr_acc)
            mean_tr_loss.append(tr_loss)
        model.reset_states()

但该模型似乎无法收敛，因为它给出了 0.3 的准确度

我也尝试使用输入形状 (None,1024) 的无状态 LSTM 来实现，但它也没有收敛

【问题讨论】：

标签： deep-learning keras lstm recurrent-neural-network

【解决方案1】：

我认为您的 LSTM 无法从视频帧中提取相关特征以达到良好的准确性。

在处理图像（或视频帧）时通常能提供最佳结果的方法是使用一堆卷积 + relu + 最大池化层来提取特征（参见https://arxiv.org/abs/1612.02903，这是一项关于面部表情识别的调查，它们都是使用卷积从图像中提取有用的特征）。

这些最适合二维输入，但我看到您用大小为 2048 的数组而不是矩阵来表示视频帧。通常图像用类似于(rows, cols, color_channels) 的形状表示。

在您的情况下，输入的形状为(1, None, rows, cols, color_channels)，然后卷积看起来像这样：

from keras.layers import Input, LSTM, Conv2D, MaxPool2D, TimeDistributed, Flatten

x = Input(batch_shape=(1, None, rows, cols, color_channels), name='x')
convs = TimeDistributed(Conv2D(16, kernel_size=(3,3), activation='relu', padding='same'))(x)
convs = TimeDistributed(MaxPool2D(pool_size=(2,2)))(convs)
convs = TimeDistributed(Conv2D(32, kernel_size=(3,3), activation='relu', padding='same'))(convs)
convs = TimeDistributed(MaxPool2D(pool_size=(2,2)))(convs)
lstm_input = TimeDistributed(Flatten())(convs)
lstmR = LSTM(256, return_sequences=True, name='lstmR', stateful=True)(lstm_input)
lstmL = LSTM(256, return_sequences=True, go_backwards=True, name='lstmL', stateful=True)(lstm_input)
...

TimeDistrubuted 将给定层应用于每个时间步。

【讨论】：