使用 MXnet 保持卷积神经网络的训练精度不变

Question

我对 NN 完全陌生，想对属于不同游戏的近 6000 张图像进行分类（由 IR 收集）。我使用了以下链接中介绍的步骤，但我在每一轮中都获得了相同的训练精度。 有关 NN 架构的一些信息：2 个卷积层、激活层和池化层。激活类型：relu，第一层和第二层的过滤器数量分别为 30 和 70。 2 个全连接层，分别有 500 个和 2 个隐藏层。 http://firsttimeprogrammer.blogspot.de/2016/07/image-recognition-in-r-using.html

Answer 1

我也有类似的问题，但是是回归问题。在尝试了几件事（不同的优化器、不同的层和节点、学习率、迭代等）之后，我发现给出初始值的方式有很大帮助。例如，我使用了方差为 0.2 (initializer = mx.init.normal(0.2)) 的 -random 初始化程序。

我从这个blog 中发现了这个值。我建议你阅读它。 [编辑]同一节选，

权重初始化。担心学习开始时权重的随机初始化。 如果你很懒，通常做 0.02 * randn(num_params) 之类的就足够了。这种规模的值往往会在许多不同的问题上出奇地好。当然，更小（或更大）的值也值得尝试。 如果它不能很好地工作（比如你的神经网络架构不寻常和/或非常深），那么你应该使用 init_scale / sqrt(layer_width) * randn 初始化每个权重矩阵。在这种情况下，init_scale 应该设置为 0.1 或 1，或类似的值。 随机初始化对于深度和循环网络非常重要。如果你没有做对，那么看起来网络根本没有学到任何东西。但我们知道，一旦条件设置好，神经网络就会学习。 有趣的故事：多年来，研究人员认为 SGD 无法从随机初始化中训练深度神经网络。每次他们尝试，它都行不通。令人尴尬的是，他们没有成功，因为他们使用“小的随机权重”进行初始化，这对浅层网络非常有效，但对深层网络根本不起作用。当网络很深时，许多权重矩阵都相互相乘，因此放大了次优尺度的效果。 但是如果你的网络很浅，你可以对随机初始化不那么小心，因为 SGD 只会找到修复它的方法。 你现在被告知。担心并关心您的初始化。尝试许多不同类型的初始化。这种努力将得到回报。如果网络根本不起作用（即，永远不会“离开地面”），请继续对随机初始化施加压力。这是正确的做法。

http://yyue.blogspot.in/2015/01/a-brief-overview-of-deep-learning.html