Tensorflow keras 时间序列预测，X 和 y 具有不同的形状

Question

我正在尝试使用具有不同维度的 X 和 y 的 tensorflow 和 keras 进行时间序列预测：

X.shape = (5000, 12)
y.shape = (5000, 3, 12)

当我执行以下操作时

n_input = 7
generator = TimeseriesGenerator(X, y, length=n_input, batch_size=1)

for i in range(5):
    x_, y_ = generator[i]
    print(x_.shape)
    print(y_.shape)

我得到想要的输出

(1, 7, 12)
(1, 3, 12)
(1, 7, 12)
(1, 3, 12)
...

这是因为我的数据是气象数据，我有 5000 天，用于数组 X 中的训练，我使用 7 天的滑动窗口，每天包含 12 个特征（气压、温度、湿度 a.o.）。而在目标数组y我有3天的滑动窗口，试图预测接下来的3天到7天的每个窗口。

但是当我尝试拟合模型时，由于X 和y 数组的形状不匹配而出现错误：

model = Sequential()
model.add(LSTM(4, input_shape=(None, 12)))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
history = model.fit_generator(generator, epochs=3).history

ValueError: A target array with shape (1, 3, 12) was passed for an output of shape (None, 1) while using as loss `mean_squared_error`. This loss expects targets to have the same shape as the output.

那么有没有办法针对尺寸不匹配调整架构？或者有没有办法重塑X 和y 使它们与这个架构一起工作？我尝试了后期将X 重塑为(5000, 7, 12)，但这也产生了维度错误。天呐

Answer 1

您的生成器是正确的……是您的网络不工作。

您没有正确处理维度。你正在处理序列，所以你需要在你的 LSTM 单元中强加return_sequences=True。你的输入有 7 个时间步，而你的输出有 3 个时间步，你必须从 7 传递到 3（你可以通过池化等来做到这一点）。

下面是一个虚拟示例。我不使用池化操作，而只是选择序列的一部分以获得 3 个时间步长的输出

X = np.random.uniform(0,1, (5000, 12))
y = np.random.uniform(0,1, (5000, 3, 12))

n_input = 7
generator = tf.keras.preprocessing.sequence.TimeseriesGenerator(X, y, length=n_input, batch_size=32)

model = Sequential()
model.add(LSTM(4, return_sequences=True, input_shape=(n_input, 12)))
model.add(Lambda(lambda x: x[:,-3:,:]))
model.add(Dense(12))
model.compile(loss='mean_squared_error', optimizer='adam')

model.summary()

model.fit(generator, epochs=2)

这里是一个池化操作的例子

model = Sequential()
model.add(LSTM(4, return_sequences=True, input_shape=(n_input, 12)))
model.add(MaxPool1D(2)) # also AvgPool1D is ok
model.add(Dense(12))
model.compile(loss='mean_squared_error', optimizer='adam')

model.summary()
model.fit(generator, epochs=2)

这里是 return_sequences=False 和重复向量的示例

model = Sequential()
model.add(LSTM(4, return_sequences=False, input_shape=(n_input, 12)))
model.add(RepeatVector(3))
model.add(Dense(12))
model.compile(loss='mean_squared_error', optimizer='adam')

model.summary()
model.fit(generator, epochs=2)

Answer 2

最终（全连接）层的形状是 (None, 1)，输出的形状是 (None, 3, 12)。数据的输出形状和网络必须匹配。

我会使用 the Functional API 并创建 3 个单独的 Dense 层并将它们连接起来。像这样：

inp = tf.keras.Input(shape=(7, 12))
x = tf.keras.layers.LSTM(4)(inp)

y1 = tf.keras.layers.Dense(12)(x)
y2 = tf.keras.layers.Dense(12)(x)
y3 = tf.keras.layers.Dense(12)(x)

y1 = tf.keras.backend.expand_dims(y1, axis=1)
y2 = tf.keras.backend.expand_dims(y2, axis=1)
y3 = tf.keras.backend.expand_dims(y3, axis=1)

output = tf.keras.layers.Concatenate(axis=1)([y1, y2, y3])

mdl = tf.keras.Model(inp, output)
mdl.summary()

返回： Model Summary