在神经网络中选择学习率答案

【问题标题】：choose learning rate in a neural network在神经网络中选择学习率
【发布时间】：2016-10-27 16:25:12
【问题描述】：

我已经建立了一个神经网络。在权重更新步骤例如，平均误差quadratiqur 直接转到0

mean error quadratic 1 =  1.2
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 ....................

不知道是什么问题

我的神经网络的大小是：

输入 = 324 * 540 目标 = 10 * 540

当我尝试使用此大小的其他数据时

输入 = 81* 540 目标 = 10 * 540

它有效。

也许问题出在学习率上？

【问题讨论】：

请包含您的代码和数据，否则我们只能说“您可能有错误”
我计算误差二次的代码是：mse (n) = mse (n) + sumsqrr(error) 参数是：恒定速率 = 0.0001 动量 = 0.3
完整代码，而不是单行代码。

标签： neural-network supervised-learning mse

【解决方案1】：

这听起来像是平均误差二次计算器的问题。

nn 不能那么快收敛（如您所知），并且 nn 的问题可能会引发错误。例外情况是，如果 nn 恰好舍入到提供与您的特定样本匹配的输出的数字（如果答案为 0 并且所有权重都舍入为 0）。

基本上，我怀疑这是由于样本数据少，或者是平均误差二次计算器的问题。

希望这会有所帮助！

【讨论】：

对不起，我没明白你的意思