为乒乓球游戏找到正确的神经网络参数

Question

我在为 Pong 游戏实现深度神经网络时遇到了一些问题，因为无论我更改哪些参数，我的网络总是发散的。 我参加了一个 Pong-Game 并实现了一个基于 theano/lasagne 的深度 Q 学习算法，该算法基于 Google 的 Deepmind 著名的自然论文。

我想要什么：
我不想为网络提供像素数据，而是输入球的 x 和 y 位置以及 4 个连续帧的桨的 y 位置。所以我总共有 12 个输入。
我只想奖励一局的打、输、赢。
使用此配置，网络没有收敛，我的代理无法玩游戏。相反，桨直接驶向顶部或底部或重复相同的模式。所以我想我试着让代理更容易一些，并添加一些信息。

我做了什么：
状态：

• 球的 x 位置（-1 到 1）
• 球的 y 位置（-1 到 1）
• 球的标准化 x 速度
• 球的归一化 y 速度
• 桨叶的 y 位置（-1 到 1）

连续 4 帧我得到的总输入为 20。

奖励：

• +10 如果 Paddle 击中球
• +100 如果代理赢了这一轮
• -100 如果代理输掉这一轮
• -5 到 0 表示球的预测结束位置（y 位置）与球拍的当前 y 位置之间的距离
• +20，如果球的预测结束位置在桨的当前范围内（击球是可预见的）
• -5 如果球位于球拍后面（不再可能击球）

使用此配置，网络仍然存在分歧。我试着玩弄学习率（0.1 到 0.00001）、隐藏层的节点（5 到 500）、隐藏层的数量（1 到 4）、批量累加器（总和或平均值）、更新规则（rmsprop 或 Deepminds rmsprop）。
所有这些都没有导致令人满意的解决方案。损失平均值的图表大多类似于this。 你可以下载我当前版本的实现here
我将非常感谢任何提示:)
小梨

Answer 1

现在重复我来自 cmets 的建议作为答案，以便稍后在此页面上结束的其他人更容易看到（首先作为评论发布，因为我不是 100% 确定它会是解决方案）：

将奖励的幅度降低到（或至少接近）[0.0, 1.0] 或 [-1.0, 1.0] 区间有助于网络更快地收敛。

以这种方式更改奖励值（简单地将它们全部除以一个数字以使它们位于更小的区间内）不会改变网络在理论上能够学习的内容。网络还可以通过在整个网络中找到更大的权重来简单地学习具有更大奖励的相同概念。

但是，学习如此大的权重通常需要更多时间。主要原因是权重通常初始化为接近 0 的随机值，因此通过训练将这些值更改为较大的值需要花费大量时间。因为权重被初始化为较小的值（通常），并且它们与最佳权重值相差甚远，这也意味着存在局部（不是全局）的风险增加一直到最优权重值的最小值，它可能会陷入其中。

由于奖励值较低，最佳权重值的幅度也可能较低。这意味着初始化为小的随机值的权重已经更有可能接近其最佳值。这会缩短训练时间（非正式地说，旅行的“距离”更短），并降低沿途出现局部最小值的风险。