使用线性函数逼近的 Q 学习

Question

我想获得一些关于如何将 Q 学习算法与函数逼近一起使用的有用说明。对于基本的 Q 学习算法，我找到了一些例子，我想我确实理解了。如果使用函数逼近，我会遇到麻烦。有人可以通过一个简短的例子来解释一下它是如何工作的吗？

我知道的：

1. 我们使用特征和参数来代替使用矩阵来表示 Q 值。
2. 使用 fauters 和参数的线性组合进行近似。
3. 更新参数。

我已经查看了这篇论文：Q-learning with function approximation

但是我找不到任何有用的教程如何使用它。

感谢您的帮助！

Answer 1

在我看来，this 是最好的参考之一。它用几个伪代码示例编写得很好。在您的情况下，您可以通过忽略资格跟踪来简化算法。

另外，根据我的经验，根据您的用例，Q-Learning 可能效果不佳（有时它需要大量的经验数据）。例如，您可以尝试 Fitted-Q 值，它是一种批处理算法。