convnet 突然下降准确率

Question

我正在尝试使用paper 中提出的架构在 fer2013 数据集上训练情感识别模型

本文使用的数据集与我的不同，因此我对步幅和过滤器大小进行了一些修改。 经过几个小时的训练，训练集和测试集的准确率突然下降。

在那之后，两组的准确率都保持在 0.1-0.2 左右，再也没有提高过。 有人知道这种现象吗？

Answer 1

在任何神经网络训练中，如果精度（即训练和验证）都先提高然后开始下降，则表明您的网络未能收敛。更恰当地说，您的优化器已经开始超调。

一个最可能的原因可能是高学习率。降低您的学习率，然后再次检查您的示例。另外，在您的链接论文中（至少在第一眼看到），我看不到提到的学习率。由于您的数据与论文的数据不同，因此相同的学习率可能效果不佳。