如何在 Keras 中强制（回归）模型输出的单调性？

Question

我目前正在研究一个问题，我为神经网络提供一个输入变量 a 和另一个输入 x 是一个单调递增的 N 个数序列。

所以我的网络基本上看起来像这样：

a_input = Input(shape=[1], name='a')
x_input = Input(shape=[N], name='x')
nn = concatenate([a_input, x_input])
nn = Dense(100, activation='relu')(nn)
nn = Dense(N, activation='relu')(nn)
model = Model(inputs=[a_input, x_input], outputs=[nn])
model.compile(loss='mean_squared_error', optimizer="adam")

我对输入空间执行回归（其中每个 a 序列 x 是唯一的） ，并且我希望网络为每组输入 a 和 输出一个单调递增的（非负）N 个数字序列>x。

现在，我注意到到目前为止，我的输出严格来说并不是单调的，但如果你“缩小”，它们看起来就像是一样的。我的意思是，对于 a 和 x 的给定选择，如果我希望我的输出数组看起来喜欢：

[0, 0.5, 0.51, 0.7, 0.75, 0.9, 1.], 

我可能会得到：

[0.001, 0.5, 0.48, 0.7, 0.75, 0.9, 1.].

因此，我想知道 Keras 中是否有标准方法或特定工具可以将模型限制为仅输出单调递增的序列？

Answer 1

要强制执行非负输出，请在输出层中使用非负激活，例如 ReLU 或 sigmoid。

我不知道任何 neural 方法可以在您的输出中强制执行单调性，但我认为一个明智的方法是更改​​输出表示以使网络预测两个连续元素之间的差异.例如，您可以转换输出数组：

a=[0, 0.5, 0.51, 0.7, 0.75, 0.9, 1.]

到：

b=[0, 0.5, 0.01, 0.19, 0.05, 0.15, 0.1]

b[0] = a[0] 和 b[i] = a[i]-a[i-1] 用于 i>0。在这种情况下，使用循环层作为输出层是有意义的，因为每个输出单元现在都依赖于之前的输出单元。您的原始表示可以很容易地恢复为a[0] = b[0] 和a[i] = b[i]+a[i-1] for i>0，并且生成的序列将单调递增，因为每个输出b[i] 都是非负的。

---

更新 1。 LSTM 应该返回完整的序列。您可以尝试如下构建模型：

a_input = Input(shape=[1], name='a')
x_input = Input(shape=[N], name='x')
nn = concatenate([a_input, x_input])
nn = Dense(100, activation='relu')(nn)
nn = Dense(N, activation='relu')(nn)
nn = Lambda(lambda x: x[..., None])(nn)  # Output shape=(batch_size, nb_timesteps=N, input_dim=1)
nn = LSTM(1, return_sequences=True, activation='relu')(nn)  # Output shape=(batch_size, nb_timesteps=N, output_dim=1)
nn = Lambda(lambda x: keras.backend.squeeze(x, axis=-1))(nn)  # Output shape=(batch_size, N)
model = Model(inputs=[a_input, x_input], outputs=[nn])
model.compile(loss='mean_squared_error', optimizer="adam")

---

更新 2。具有一个隐藏单元的 LSTM 可能不够强大。我不确定这是否会有所帮助，但您可以尝试在最后一个之前添加另一个具有更多单元（即 10 个）的 LSTM 层：

...
nn = Lambda(lambda x: x[..., None])(nn)  # Output shape=(batch_size, nb_timesteps=N, input_dim=1)
nn = LSTM(10, return_sequences=True)(nn)  # Output shape=(batch_size, nb_timesteps=N, output_dim=10)
nn = LSTM(1, return_sequences=True, activation='relu')(nn)  # Output shape=(batch_size, nb_timesteps=N, output_dim=1)
nn = Lambda(lambda x: keras.backend.squeeze(x, axis=-1))(nn)  # Output shape=(batch_size, N)
...