缺少天气预报输出数据的卷积网络

Question

我正在使用 ConvNets 构建一个模型来进行天气预报。我的输入数据是 96x144 矩阵（代表地理区域）的 10K 个样本，在固定高度的网格的每个点中具有变量 Z（地势高度）的值。如果我包含 3 个不同的高度（Z 在不同的高度上非常不同），那么我有这个输入形状：(num_samples,96,144,3)。样品是每小时的，一个样品=一小时。我有将近2年的数据。输入数据（Z）表示该小时的大气状态。

这可以被认为是具有 3 个通道的图像，但不是在 0-256 范围内的像素值，而是在更大范围内的 Z 值（最后一个通道的高度范围为 7500 到 9500，第一个一个的范围是 500 到 1500 aprox)。

我想预测降水（会不会下雨？只是那个，二进制，是或否）。

在那个网格中，我国家的那个空间区域，我只有特定 (x,y) 点的输出数据（整个区域只有 122 个气象站有降雨数据）。只有 122 (x,y) 点我的值为 1（那个小时下雨）或 0（没有下雨）。

所以我的输出矩阵是一个 (num_samples,122) 向量，如果在该样本中（那个小时）下雨，则在站点索引中包含 1，如果没有下雨，则包含 0。

所以我使用了 VGG16 模型和 https://github.com/prl900/precip-encoder-decoders/blob/master/encoder_vgg16.py 之间的混合模型，这是我在一篇论文中找到的用于此特定应用程序的模型。

我想知道我是否以正确的方式构建模型，我只是更改了输入层以匹配我的形状和 FC 层的最后一层以匹配我的类（122，因为对于特定的输入样本，我希望有一个 0 或 1 的 1x122 向量，具体取决于该站是否下雨，对吗？）。由于概率不是互斥的（如果不止一个站点下雨，我可以有很多 1）我在最后一层使用了“sigmoid”激活。

我不知道在编译中使用哪个指标，acc、mae 和分类 acc 在所有时期都保持不变（在第二个时期增加了一点，但在那之后，acc 和 val_acc 保持不变每个时代）。

并且，在输出矩阵中有空值（站没有数据的小时数），我只是用 -1 值填充 NaN（如“我不知道”标签）。这可能是因为没有任何效果？

感谢您的帮助，对过度解释感到抱歉。

def get_vgg16():
model = Sequential()

# Conv Block 1
model.add(BatchNormalization(axis=3, input_shape=(96,144,3)))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 2
model.add(BatchNormalization(axis=3))
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 3
model.add(BatchNormalization(axis=3))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 4
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 5
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# FC layers
model.add(Flatten())
model.add(Dense(4096, activation='relu'))
model.add(Dense(4096, activation='relu'))
model.add(Dense(122, activation='sigmoid'))

#adam = Adam(lr=0.001)
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd, metrics=[metrics.categorical_accuracy,metrics.binary_accuracy, 'acc'])
print(model.summary())

return model

Answer 1

为了改进模型，需要考虑多种因素：

您选择的损失

你可以在这里做各种各样的事情。使用 L2 损失（平方距离最小化）是一种选择，您的目标是每个站点的无雨 (0) 或无雨 (1)。另一个（更准确的）选择是将每个输出视为该站下雨的概率。然后，您将为每个输出值应用二进制 cross entropy 损失。

二元交叉熵只是应用于二分类问题的常规交叉熵。请注意，当只有两种可能的结果时，P(y) = 1 - P(x)。因此，您无需添加任何额外的神经元。

掩盖损失

不要将缺失的目标设置为 -1。这没有任何意义，只会给训练带来噪音。想象一下，您正在使用 L2 损失。如果您的网络预测该值的降雨，则意味着 (1 - (-1))^2 = 4，预测误差非常高。相反，您希望网络忽略这些情况。

您可以通过掩盖损失来做到这一点。假设您进行了 Y = (num_samples, 122) 预测，并且有一个形状相同的目标矩阵 T。您可以定义一个相同大小的二进制掩码 M，其中的值表示您知道的值，而缺失值位置的值为零。那么，您的损失将是 L = M * loss(Y, T)。对于缺失值，损失将始终为 0，没有梯度：不会从中学到任何东西。

标准化输入

normalize/standardize 输入总是好的做法。这避免了某些特征比其他特征更相关，从而加快了训练速度。在输入量级非常大的情况下，它还有助于稳定训练，防止梯度爆炸。

在您的情况下，您有三个渠道，每个渠道都遵循不同的分布（具有不同的最小值和最大值）。在计算 min+max / mean+stdv 值时，您需要针对每个通道（高度）分别考虑所有样本上的数据，然后应用这两个值对所有样本上的相应通道进行归一化/标准化。也就是说，给定一个大小为 (N,96,144,3) 的张量，分别对大小为 (N,96,144,1) 的每个子张量进行归一化/标准化。您需要对测试数据应用相同的变换，因此请保存缩放值以备后用。