了解前馈神经网络输出

Question

我已经为回归问题构建了一个具有 3 个隐藏层的前馈神经网络。我用于验证的指标是 MAPE。以下是模型参数

#Define the model
NN_model = Sequential()

# The Input Layer :
NN_model.add(Dense(128, kernel_initializer='normal',input_dim = X_train.shape[1], activation='relu'))

# The Hidden Layers :
NN_model.add(Dense(256, kernel_initializer='normal',activation='relu'))
NN_model.add(Dense(256, kernel_initializer='normal',activation='relu'))
NN_model.add(Dense(256, kernel_initializer='normal',activation='relu'))

# The Output Layer :
NN_model.add(Dense(1, kernel_initializer='normal',activation='linear'))

# Compile the network :
NN_model.compile(loss='mean_absolute_percentage_error', optimizer='adam', metrics=['mean_absolute_percentage_error'])
##NN_model.compile(loss='mean_absolute_error', optimizer='adam', metrics=['mean_absolute_error'])
NN_model.summary()

示例输出如下所示

Train on 18000 samples, validate on 4500 samples
Epoch 1/500
18000/18000 [==============================] - 3s 148us/step - loss: 672.5252 - mean_absolute_percentage_error: 672.5252 - val_loss: 29.3799 - val_mean_absolute_percentage_error: 29.3799

Epoch 00001: val_loss improved from inf to 29.37992, saving model to Weights-001--29.37992.hdf5
Epoch 2/500
18000/18000 [==============================] - 2s 133us/step - loss: 739.9019 - mean_absolute_percentage_error: 739.9019 - val_loss: 220.4918 - val_mean_absolute_percentage_error: 220.4918

Epoch 00002: val_loss did not improve from 29.37992
Epoch 3/500
18000/18000 [==============================] - 2s 129us/step - loss: 840.8005 - mean_absolute_percentage_error: 840.8005 - val_loss: 18.5716 - val_mean_absolute_percentage_error: 18.5716

我的问题是，在每个时期，我看到平均绝对百分比误差和验证平均绝对百分比误差。后者似乎低于我的预期，为什么平均绝对百分比误差如此不同并且远高于验证平均绝对百分比误差？

另外，为什么验证平均绝对百分比误差波动如此之大？

感谢任何意见。

Answer 1

看起来您的模型根本无法学习任何东西。你检查你的输入数据了吗？

另一个问题可能是梯度太大，这会导致“不收敛行为”。因此，您的损失只是“随机”波动。

因此，请检查您的训练数据，尝试对其进行缩放并尝试使用不同的损失函数！希望对您有所帮助。

Answer 2

MAPE 可能相当低，因为在输入值方面没有太大的分布。

让我们假设我们在谈论经典的线性回归，以使事情更容易可视化。不幸的是，您碰巧在一个不错的经典 sigmoid 上运行线性回归 - 从零到一，拐点在 0.5，从 -inf 到 inf。

您的尽最大努力将是定义为0x+0.5 的行。您只是物理上无法使用您正在使用的模型做得更好。然而，你的 MAPE 将是 50%，而不是像 10000% 这样的疯狂。

当然，该模型完全是垃圾，但它的错误仅限于相当小的值范围。

现在，使用 DNN 就更棘手了，因为您需要担心所有这些额外的维度，但它可能是调试模型的一个不错的线索。

就波动而言，很难告诉 ATM - 您刚刚展示了前三个时期，它可能仍在试图在数据上找到立足点。在进行任何诊断之前，我会在进一步培训期间查看问题是否仍然存在。