OpenAI 健身房：何时需要重置？答案

【问题标题】：OpenAI gym: when is reset required?OpenAI 健身房：何时需要重置？
【发布时间】：2019-11-07 15:36:38
【问题描述】：

虽然我可以设法让示例和我自己的代码运行，但我对 OpenAI gym API 背后的真正语义/期望更加好奇，尤其是 Env.reset()

预计/需要何时重置？在每一集的结尾？还是只有在创建环境之后？

我宁愿在每集之前都认为它是有道理的，但我无法明确地阅读！

【问题讨论】：

标签： python machine-learning reinforcement-learning openai-gym

【解决方案1】：

您通常会在整集之后使用重置。因此，这可能是在您在 mdp 中达到最终状态之后，或者在您达到最大时间步长（由您设置）之后。我通常也会在训练开始时重置它。

因此，如果您处于起始状态“A”并且想要达到状态“Z”，您将运行时间步长从“A”->“B”->“C”...，然后当您到达终端状态“Z”时，您会使用重置开始新剧集，这会将您带回“A”。

    for episode in range(iterations):
        state = env.reset() // first state
        for time_step in range(1000):  //max amount of iterations
            action = take_action(state)
            state, reward, done, _ = env.step(action)
            if done:
                break // takes you to the next episode where the environment is reset

【讨论】：