只有 2 个 ConvLayer 和一个小数据集时的 BatchNormalization 和 ELU？答案

【问题标题】：BatchNormalization and ELU when only 2 ConvLayer and a small dataset?只有 2 个 ConvLayer 和一个小数据集时的 BatchNormalization 和 ELU？
【发布时间】：2020-01-08 09:52:23
【问题描述】：

我想用一个小数据集训练一个 CNN，只有 500 张图像。我想知道 BatchNormalization 是否仅在 CNN 的 ConvLayer 多于 2 个时才推荐？

BatchNormalization 的目标应该是对抗垂死梯度问题。只有当 CNN 有超过 2 个 ConvLayer 时，才可能出现死亡梯度，对吧？当网络更大时，ELU 也应该是同样的原因，对吧？

你有什么经验？我希望任何提示，因为案件非常重要。

【问题讨论】：

标签： keras conv-neural-network batch-normalization

【解决方案1】：

批量归一化与渐变梯度无关——这是激活函数的工作。批量归一化提高了网络学习的速度和稳定性。

一般来说，无论您的网络规模如何，您都希望同时使用 BN 和 RELU。

【讨论】：

好的，批量标准化我弄错了。批量归一化更多的是用于网络的调节。在小型网络中使用 ELU 而不是 RELU 会有什么问题？
哦，对不起，我与 ELU 自相矛盾。但是，如果您也将 ELU 用于较小的网络，这可能不会受到伤害？它可能会训练更长时间。
@CodeNow 你应该解释一下你想从这个网络中得到什么，以及你为什么选择这个网络大小。 2 个 CNN 层只能识别小的基本模式。
好的，我有 2 个 CNN 架构，一个有 2 个 ConvLayer，另一个有 6 个 ConvLayer。两种架构在结构上都非常相似。如果我用相同的数据集训练两者，我在这两种情况下都会得到很好的结果。但是，目标是仅使用该数据集的一小部分进行训练并找到合适的模型。该模型不应该太复杂，也不应该导致欠拟合。这就是为什么我想找到良好的辍学率、良好的学习率和最佳的 ConvLayers 数量。在这种情况下，我不使用数据增强。
@CodeNow 你希望你的网络有什么样的输出？