Pybrain 强化学习示例

Question

正如问题所述，我正在寻找 pybrain 中强化学习的一个很好的解释/示例，因为这方面的文档让我无所适从，我可以让它工作，但我不明白如何将它应用于其他事情.

谢谢 汤姆

Answer 1

不幸的是，pybrain 的 rl 类文档令人失望。我发现this blog 非常有用。

---

总的来说，您需要确定以下组件（有关实现细节，请参阅链接上的教程）：

1. 一个环境：env = Environment(...)
2. 一个任务 --> task = Task(env)
3. 一个控制器，它是一个模块（像一个表格）来保存你的动作值信息 --> controller = Module(...)
4. 学习者 --> learner = SARSA() --> 你也可以为学习者添加资源管理器。默认值为 epsilon-greedy，epsilon = 0.3，decay = 0.9999。
5. 集成控制器和学习器的代理 --> agent = Agent(controller, learner)
6. 将任务和代理集成并进行实际迭代的实验 --> experiment = Experiment(task, agent)

每个大写的类都应该用 PyBrain 中的相应类替换。然后你只需运行一个 do-while 循环来执行迭代和学习。请注意，用户可以设置几个选项，在实际问题中，您很可能需要编写子类来概括 pybrain 的基本类，但步骤与此处相同。