为什么验证错误率保持不变？

Question

我正在研究面部图像的深度学习 (CNN + AE) 方法。

我有

• 人脸图像112*112*3的输入层

• 3卷积+最大池化+ReLU

• 2 层全连接，512 个神经元，50% dropout 避免过度拟合和最后一个输出层有 10 个神经元，因为我有 10 节课。

• 还使用了 softmax 交叉熵和 L2 的降低均值。

为了训练，我将数据集分为 3 组：

1. 60% 用于培训
2. 20% 用于验证
3. 20% 用于评估

问题是在几个 epoch 之后，验证错误率保持固定值并且永远不会改变。我使用tensorflow 来实现我的项目。

我以前在使用 CNN 时没有遇到过这样的问题，所以我认为这是第一次。我已经检查了它基于 tensorflow 文档的代码，所以我不认为问题出在代码上。也许我需要更改一些参数，但我不确定。

对此类问题的常见解决方案有任何想法吗？

更新： 我将优化器从动量更改为默认学习率的 Adam。现在验证错误发生了变化，但大多数时候它低于小批量错误，而两者的批量大小相同。

我已经以 0.1 作为初始值测试了模型有无偏差，但还没有很好的拟合。

更新 我修复了这个问题，我会尽快更新更多细节。

Answer 1

我发现对此类问题有帮助的一个常见解决方案是使用 TensorBoard。您可以在每个 epoch 之后为计算图中的不同点添加细节可视化训练性能信息。添加关键指标是值得的，因为您可以在应用自适应学习率、批量大小、神经网络架构、辍学/正则化、GPU 数量等变化后看到训练的进展情况。

这是我发现有助于添加这些详细信息的链接： https://www.tensorflow.org/how_tos/graph_viz/#runtime_statistics