拟合 keras 模型时文件“mtrand.pyx”中的 Numpy 错误答案

【问题标题】：Numpy error in file "mtrand.pyx" while fitting a keras model拟合 keras 模型时文件“mtrand.pyx”中的 Numpy 错误
【发布时间】：2021-05-26 08:49:57
【问题描述】：

我正在使用：

keras-rl2：1.0.4
张量流：2.4.1
numpy : 1.19.5
健身房 0.18.0

用于为强化学习项目训练 DQN 模型。

我的动作空间包含 60 个离散值：

self.action_space = Discrete(60)

我在 x 步后收到此错误：

1901/10000 [====>.........................] - ETA: 1:02 - reward: 6.1348Traceback (most recent call last):
  File "D:/GitHub/networth-simulation/rebalancing_simple_discrete.py", line 203, in <module>
    dqn.fit(env, nb_steps=5000, visualize=False, verbose=1)
  File "D:\GitHub\networth-simulation\venv\lib\site-packages\rl\core.py", line 169, in fit
    action = self.forward(observation)
  File "D:\GitHub\networth-simulation\venv\lib\site-packages\rl\agents\dqn.py", line 227, in forward
    action = self.policy.select_action(q_values=q_values)
  File "D:\GitHub\networth-simulation\venv\lib\site-packages\rl\policy.py", line 227, in select_action
    action = np.random.choice(range(nb_actions), p=probs)
  File "mtrand.pyx", line 928, in numpy.random.mtrand.RandomState.choice
ValueError: probabilities contain NaN

当我使用较少数量的离散动作 (

我找到了that fix，但我不明白如何应用它。我找不到任何文件“numpy/random/mtrand/mtrand.pyx”

有没有人找到解决该错误的方法？

【问题讨论】：

标签： python numpy random openai-gym keras-rl

【解决方案1】：

当环境类属性的值变得过高（正或负）时，显然会弹出此错误。

我解决了我的 step() 方法中存在限制的问题。

【讨论】：

你能详细说明你是如何解决这个问题的