我的卷积神经网络过度拟合答案

【问题标题】：My Convolutional Neural Network is Overfitting我的卷积神经网络过度拟合
【发布时间】：2020-02-02 18:34:42
【问题描述】：

最近，我构建了一个简单的卷积神经网络，用于手势图像识别，使用背景减法使手在屏幕上变成白色，背景为黑色。它大部分是使用 keras Conv2D 构建的。我的数据集有 1000 张用于训练的图片和 100 张用于验证和测试的图片。奇怪的是，这个问题在第一个 epoch 之后立即出现，在此期间模型的损失下降了很多。在第二个纪元开始时，它通常会从 183 之类的大数字下降到 1。数据集中的所有图片都是我自己使用cv2制作的，但我只是用自己的手进行了测试，所以应该没有问题。如果数据集是问题所在，我尝试获取 3 个不同的数据集，其中一个使用 cv2 的 Canny 方法，该方法本质上是追踪一条手线并使图片的其余部分变黑，看看是否有区别。无论如何，同样的事情继续发生。此外，我在不同的地方添加了多个 Dropout 层以查看效果，并且总是发生相同的事情，其中损失急剧减少并且显示出过度拟合的迹象。我还实现了 EarlyStopping 和多个层，看看是否有帮助，但似乎总是会出现相同的结果。

model = Sequential()
model.add(Conv2D(32, (3,3), activation = 'relu',
    input_shape = (240, 215, 1)))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
model.add(Conv2D(64, (3,3), activation = 'relu'))
model.add(Conv2D(64, (3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
model.add(Conv2D(128, (3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
model.add(Conv2D(256, (3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
 #model.add(Conv2D(256, (3,3), activation = 'relu'))
 #model.add(MaxPooling2D((2,2)))
 #model.add(Conv2D(128, (3,3), activation = 'relu'))
 #model.add(MaxPooling2D((2,2)))
 #model.add(Conv2D(64, (3,3), activation = 'relu'))
 #model.add(MaxPooling2D((2,2)))
model.add(Flatten())
model.add(Dense(150, activation = 'relu'))
 #model.add(Dropout(0.25))
 #model.add(Dense(1000, activation = 'relu'))
model.add(Dropout(0.75))
model.add(Dense(6, activation = 'softmax'))
model.summary()
model.compile(optimizer = 'adam', loss = 'categorical_crossentropy',
        metrics = ['acc'])
callbacks_list = [EarlyStopping(monitor = 'val_loss', patience = 10),
        ModelCheckpoint(filepath = 'model.h6', monitor = 'val_loss',
        save_best_only = True),]

代码的注释部分是我尝试实施的更改。我还对它们的 Dropout 值和位置进行了很大的更改，并且没有任何重大变化。任何人都可以就我的模型为什么这么快过拟合提供任何建议吗？

【问题讨论】：

“我也改变了 Dropout 值”——你尝试了哪些值？
我试过 0.25、0.5、0.75 和 0.9。

标签： python tensorflow machine-learning keras neural-network

【解决方案1】：

是的，这是一个明显的过度拟合案例。以下是我的建议：

尝试减少隐藏层
将 dropout 增加到 0.5
创建更多合成图像或对原始图像应用转换。

【讨论】：

【解决方案2】：

在处理如此大规模的过拟合现象时，一个好的起点是减少层数。

虽然你在多次 max-pooling 之后添加了 Dropout，但你仍然会遇到过拟合现象。

下面是我的一些建议：

确保您拥有一个带有清晰标签的综合数据集。不管我们如何调整神经网络，如果数据集不干净，我们无法获得好的结果。
添加（作为开始），最多 3 层卷积 + max_pooling + dropout。 (32 + 64 + 128) 将是一个好的开始点。
使用GlobalAveragePooling2D 代替Dense 层。卷积神经网络不需要后者，除了最后一层使用sigmoid 或softmax。
尝试使用 SpatialDropout2D。与典型的 Dropout 相比，这是应用于特征图中的每个元素，SpatialDropout 会丢弃整个特征图。
尝试使用数据增强。通过这种方式，您可以创建更多人工示例，并且您的网络将不太容易过度拟合。
如果这些都不起作用，请确保您使用预训练的网络并将迁移学习应用于手头的任务。

【讨论】：