如何在 caffe 或 DIGITS 中实现 L2 正则化？

Question

我正在使用 Caffe 和 NVIDIA DIGITS。我想使用在 ImageNet 上预训练的 AlexNet，并想根据我的医疗数据对其进行微调。我有近 1000 张图像，其中 80% 用于训练，我通过数据增强（使用裁剪和旋​​转）生成了 40,000 张图像。但是我面临严重的过度拟合。我试图通过添加多个 dropout 层来克服这个问题。结果从：

到：

但我的准确性并没有提高。

我的网络规格：

AlexNet pre-trained on ImageNet

base learning rate: 0.001

learning rate multiplier: 0.1 for convolution layers and 1 for fully connected layers and xavier weight initialisation.

dropout: 0.5

现在我想添加 L2 正则化。我在 Caffe 中没有找到这样的层，我应该自己做。

first question:我的问题你有什么解决办法吗？ （我尝试了其他方法，例如更改步长，将学习率从 1 更改为 10^(-5)，我发现 0.001 更好，权衡衰减变化，添加各种 dropout 层（如您所见））

second question:你能帮我如何实现L2正则化吗？

Answer 1

在 caffe 中默认有 L2 正则化。
请参阅this thread 了解更多信息。