如何为 q-learning 设置状态空间？答案

【问题标题】：How do I set up a state space for q-learning?如何为 q-learning 设置状态空间？
【发布时间】：2023-04-07 13:22:01
【问题描述】：

这显然是非常明显和基本的，因为我找不到任何关于它的教程，但是如何为 q-learning 环境设置状态空间？

如果我理解正确的话，每个状态都需要与一个值相关联，对吧？如果是这样，如果我有多个输入变量，我该怎么办？本质上；

stateSpace = ???

一旦我有了状态空间，我该如何改变状态？假设它基于 3 个变量，V1 V2 和 V3。 q-learning 算法只接收这个状态的单数表示，对吧？如何使用变量和状态空间返回表示状态的单个值？

很抱歉，如果这是显而易见的/基本的，谢谢您的时间。

【问题讨论】：

您好，欢迎来到 StackOverflow。此类问题在其他平台上得到解决，例如 CrossValidated。我找到了一个对你来说很有趣的答案CrossValidated q-learning

【解决方案1】：

我认为您可能对 Q Learning 中涉及的参数有些困惑。这是我们所拥有的：

Reward：代理进入某个状态时给予的奖励。这可以是正数或负数，但应该是一个数字。

状态：关于游戏状态的所有相关信息。

观察：一个张量，包含允许代理了解游戏状态的信息。

Q-Value：采取某种行动的“质量”。

我们可以通过比较我们对某个动作的质量的预期（从长远来看它提高了我们的奖励多少）和我们在采取该动作后实际发现的质量来训练网络。

在每个滴答声中，我们都会更新状态，然后代理会进行新的观察，从而为其提供新的输入值。

【讨论】：