这个关闭政策的例子是否正确？

【问题标题】：Is this example of off policy correct?这个关闭政策的例子是否正确？
【发布时间】：2020-05-26 13:09:55
【问题描述】：

我正在阅读 Sutton 和 Barto，并希望确保我清楚。

对于 Off Policy 学习，我们是否可以将处于特定地形（例如在沙滩上）的机器人视为目标策略，但使用机器人在雪地中行走的策略作为行为策略？我们正在使用我们在雪地上行走的经验来逼近在沙滩上行走的最佳策略？

【问题讨论】：

标签： reinforcement-learning function-approximation

【解决方案1】：

您的示例有效，但我认为它有点限制。在非策略方法中，行为策略只是一个用于探索状态动作空间的函数，而另一个函数（如您所说的目标）正在被优化。这意味着只要行为函数与目标策略定义在同一域上，它是随机过程还是先前学习的结果（例如你的机器人在沙地上行走）并不重要。它探索了状态-动作空间，因此它符合定义。做得好不好是另一回事。

【讨论】：

非常感谢。我也很感谢您的额外说明。