避免openai健身房的非法状态

Question

我正在尝试为模拟问题创建一个健身房环境。在我的健身房环境中，我有一组非法状态，我不希望我的代理进入它们。将此类逻辑添加到我的环境中的最简单方法是什么，我应该使用包装类吗？我不太明白，我尝试通过继承一个类来扩展MultiDiscrete 空间并覆盖MulriDiscrete.sample 函数以阻止环境进入非法状态，但是有没有更有效的方法来做吗？

Answer 1

我有一个类似的问题，我需要制作一个健身房环境，该环境在网格世界的中心有一个游泳池，我不想让代理去那里。

因此，我将网格世界表示为矩阵，并且池具有不同的深度，代理可以落入其中，因此这些位置的值具有与水坑深度成正比的负值。

在训练代理时，这种负奖励防止代理掉入水坑。

上述环境的代码为here，其用法为here

希望这会有所帮助。