OpenAi-Gym 具有负值的离散空间答案

【问题标题】：OpenAi-Gym Discrete Space with negative valuesOpenAi-Gym 具有负值的离散空间
【发布时间】：2020-03-09 04:34:42
【问题描述】：

我创建了一个自定义的健身房环境，其中操作可以是从 -100 到 +100 的任何整数。据我所见，不可能创建一个允许负值的离散空间，而我提供的唯一解决方案是创建一个从 -100 到 +100 的 Box 空间（注意这是一个连续空间）。

由于大多数强化学习代理都假设动作空间是离散空间，因此我在运行代码时遇到了困难（我知道有一些代理，例如 DDPG，在连续动作空间中运行）。

有可能在健身房中有一个允许负值的离散空间吗？

【问题讨论】：

标签： python python-3.x reinforcement-learning openai-gym

【解决方案1】：

AFAIK，在 OpenAI-Gym 离散环境中，您对每个可能的操作都有索引，因此您可能不需要负值。但是，您可以将每个操作索引映射到任意值，无论是正值还是负值。

例如，在 Cartpole 环境中，您可以对推车施加正（向右推）或负（向左推）力。这个问题是使用离散环境建模的，其中action 0 = negative force 和action 1 = positive force。有关更多详细信息，请查看Cartpole source code（例如，第 95 行）。

同样，在您的情况下，虽然您的 200 个行动指数都是正面的，但它们可以代表正面或负面的行动。

【讨论】：

好吧，也许我给了它错误的方法。动作值被直接应用在步骤中进行一些计算。我可以创建一个从 0 到 200 的离散变量，并在使用前减去 100。
是的，就是这个想法。这似乎很明显，但我过去也遇到过类似的情况。