使用 Keras LSTM 进行多步提前时间序列预测的多个输出

Question

按照类似的question，我遇到了一个问题，我需要在 3 个不同的时间序列之前预测很多步。我设法生成了一个网络，将 3 个时间序列的过去 7 个值作为输入，预测其中一个的 5 个未来值。输入 x 具有以下维度：

(500, 7, 3): 500 samples, 7 past time steps, 3 variables/time series) 

目标y 具有以下维度：

(500, 5): 500 samples, 5 future time steps

LSTM 网络定义为：

model = Sequential()
model.add(LSTM(input_dim=3, output_dim=10,  return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(50))
model.add(Dropout(0.2))
model.add(Dense(input_dim=10, output_dim=7))
model.add(Activation('linear'))
model.compile(loss='mae', optimizer='adam')

如果我现在想预测 2 个时间序列的值怎么办？

我尝试了以下代码：

inputs = Input(shape=(7,3)) # 7 past steps and variables
m = Dense(64,activation='linear')(inputs)
m = Dense(64,activation='linear')(m)
outputA = Dense(1,activation='linear')(m)
outputB = Dense(1,activation='linear')(m)

m = Model(inputs=[inputs], outputs=[outputA, outputB])
m.compile(optimizer='adam', loss='mae')
m.fit(x,[y1,y2])

y1 和 y2 的维度与 y (500, 5) 相同。但我收到以下错误：

"Error when checking target: expected dense_4 to have 3 dimensions, but got array with shape (500, 5)".

我应该如何重塑y1 和y2？或者我应该为网络设置不同的结构？

Answer 1

在评论之后，我无法发布可读代码：

如果您想在 2 个输出上训练您的网络，保持架构接近您发布的第二个网络之一，但使用 LSTM，这应该可以：

from keras.layers import Input, Dense, Dropout, LSTM

inputs = Input(shape=(7,3)) # 7 past steps and variables
m = LSTM(10,  return_sequences=True)(inputs)
m = Dropout(0.2)(m)
m = LSTM(50)(m)
m = Dropout(0.2)(m)
outputA = Dense(5, activation='linear')(m)
outputB = Dense(5, activation='linear')(m)

m = Model(inputs=[inputs], outputs=[outputA, outputB])
m.compile(optimizer='adam', loss='mae')
m.fit(x,[y1,y2])

请注意，如果您预测的 2 个时间序列中的时间相关性相似，此架构将提供良好的结果，因为您将使用相同的 LSTM 层来处理这两个层，并在最后一层进行拆分，这将是对每个时间序列的结果进行微调。另一种选择是像您建议的第一个一样使用 2 net，但这会使计算量加倍。

另一种选择是让 LSTM 直接输出多个值。基本思想是将您的第一个模型与return_sequence=True 保留在第二个 LSTM 层中。这里的问题是，如果您想保留 7 个时间步长作为输入而只获得 5 个作为输出，则需要在第一个 LSTM 层和输出层之间的某个位置对张量进行切片，以便将输出时间步长减少到 5 个。问题是 keras 中没有实现 slice 层。 This 是一个可以切片的自定义层。从理论上讲，我也不确定这种架构是否有效。

最后一点：您可以转置图层，而不是切片，使用密集来减少所需的尺寸，然后转置回原始尺寸，或者类似地使用 Flatten -> Dense 和 reshape。这两个选项都会给你一个有效的架构（这意味着 keras 将编译和适应），但在这两种情况下你都会弄乱时间维度，这是不可取的。

希望有帮助