带有强化学习的推车杆框架

Question

我正在做一个副项目，对倒立摆问题进行建模并解决它 使用强化学习算法，最著名的是 Q-Learning。我已经为网格世界设计了一个简单的 MDP 求解器 - 简单的东西。

但是，经过几天的研究论文搜索，我正在努力弄清楚如何做到这一点。没有任何内容解释如何建立一个框架来表示问题。

在对问题建模时，可以使用标准的马尔可夫决策过程吗？还是必须是 POMDP？

每个状态代表什么（即传递给代理的状态信息）？摆的坐标、速度、角度等？

代理可以采取哪些行动？它是 + 或 - x 方向的连续速度范围吗？

非常感谢您对此提供建议。

Answer 1

Richard S. Sutton 和 Andrew G. Barto 合着的“强化学习：简介”是强化学习的默认书籍，他们还讨论了推车杆问题 (http://webdocs.cs.ualberta.ca/~sutton/book/the-book.html)。萨顿还提供了车杆问题的C代码：http://webdocs.cs.ualberta.ca/~sutton/book/code/pole.c 当然网上有很多问题的实现：https://github.com/stober/cartpole

根据您想要解决问题的难度，有多种解决方案。

• 您可以将其建模为 MDP 或 POMDP。
• 状态可以由位置、速度、角度和角速度或这些的任何子集组成。
• 可以离散化状态空间，可以使用函数逼近。
• 动作可以是简单的最小和最大加速度（离散），介于两者之间（离散或连续）。

从简单开始，逐步解决更困难的问题！