【发布时间】：2020-04-01 02:24:39
【问题描述】：
我知道如果你的学习率太高，你会在神经网络中得到 NaN。但我很好奇为什么你会得到学习率高但学习率低的 NaN。谁能告诉我？
【问题讨论】：
标签： java python neural-network
【发布时间】：2020-04-01 02:24:39
【问题描述】：
学习率用于计算对权重进行了多少调整。如果大于 1，那么调整会随着时间的推移而增长，而不是越来越小。举例说明：您距离目标 1 米；你的学习率是 3，所以你朝它迈进1 * 3 = 3 米并过冲；现在您距离目标 2 米，您踏步 2 * 3 = 6 米和距离目标 4 米......等等。
这样你最终可以溢出权重值。可能您的特定实现通过将 NaN 分配给权重值而不是抛出错误来处理这个问题。
【讨论】：