使用 Keras 的 RNN 中的多特征序列填充和屏蔽

Question

我已经使用 Keras 构建了 LSTM 架构，但我不确定复制时间步长是否是处理可变序列长度的好方法。

我有一个具有多特征序列和不同时间步长的多维数据集。它是一个多元时间序列数据，包含多个用于训练 LSTM 的示例，Y 为 0 或 1。目前，我正在为每个序列复制最后的时间步长以确保 timesteps = 3。

如果有人能回答以下问题或疑虑，我将不胜感激： 1. 用零表示的特征值创建额外的时间步更合适吗？
2. 解决这个问题的正确方法是什么、填充序列和评估掩码。
3. 我也在 Y 变量中复制最后一个时间步以进行预测，并且 Y 中的值 1 仅出现在最后一个时间步。

# The input sequences are
trainX = np.array([
        [
            # Input features at timestep 1
            [1, 2, 3],
            # Input features at timestep 2
            [5, 2, 3] #<------ duplicate this to ensure compliance
        ],
        # Datapoint 2
        [
            # Features at timestep 1
            [1, 8, 9],
            # Features at timestep 2
            [9, 8, 9],
            # Features at timestep 3
            [7, 6, 1]
        ]
    ])

# The desired model outputs is as follows:
trainY = np.array([
        # Datapoint 1
        [
            # Target class at timestep 1
            [0],
            # Target class at timestep 2
            [1] #<---------- duplicate this to ensure compliance
        ],
        # Datapoint 2
        [
            # Target class at timestep 1
            [0],
            # Target class at timestep 2
            [0]
            # Target class at time step 3
            [0]
        ]
    ])

timesteps = 3
model = Sequential()
model.add(LSTM(3, kernel_initializer ='uniform', return_sequences=True, batch_input_shape=(None, timesteps, trainX.shape[2]), 
               kernel_constraint=maxnorm(3), name='LSTM'))
model.add(Dropout(0.2))
model.add(LSTM(3, return_sequences=True, kernel_constraint=maxnorm(3), name='LSTM-2'))
model.add(Flatten(name='Flatten'))
model.add(Dense(timesteps, activation='sigmoid', name='Dense'))
model.compile(loss="mse", optimizer="sgd", metrics=["mse"])
model.fit(trainX, trainY, epochs=2000, batch_size=2)
predY = model.predict(testX)

Answer 1

在我看来，您的问题有两种解决方案。 （重复的时间步都没有）：

1. 将pad_sequence layer 与masking layer 结合使用。这是常用的方法。现在多亏了填充，每个样本都有相同的时间步数。这种方法的好处是，它很容易实现。此外，遮罩层会给你一点性能提升。 这种方法的缺点：如果你在 GPU 上训练，CuDNNLSTM 是要走的层，它针对 gpu 进行了高度优化，因此速度要快得多。但它不适用于遮罩层，如果您的数据集的时间步长范围很大，那么您将失去性能。

2. 将你的时间步长形状设置为无，并编写一个 keras 生成器，它将按时间步长对你的批次进行分组。（我认为你还必须使用功能 API）现在你可以实现 CuDNNLSTM，每个样本都将是仅使用相关时间步（而不是填充时间步）计算，效率更高。

如果您是 keras 新手并且性能不是那么重要，请使用选项 1。如果您有一个经常需要训练网络并且成本相关的生产环境，请尝试选项 2。