Qlearning和奖励索引

Question

我的问题可能很简单，但我不确定众所周知的 Q 学习方程中的时间索引。

等式： Qt+1(St, At) = Qt(St, At) + alpha * (Rt+1 + gamma * max_A(Qt(St+1, A)) - Qt(St, At))

我不明白 Rt+1 代表什么。简单例子：

1. 我们在时间 T 处于状态 X。
2. 根据 epsilon-greedy 选择新操作
3. 应用操作
4. 我们在 T + 1 时刻处于状态 Y
5. （现在我们想要更新状态 Y 的 Q 值）奖励是从动作 X -> Y（？）计算的，或者是在评估所有下一个 Q 值（max_A（Q（Y， A)))
6. 重复 1

Answer 1

在上一回合，你处于状态 s(t) 并采取了行动 a(t)。现在你处于状态 s(t+1)，获得奖励 r(t+1) 并（贪婪地）选择动作 a(t+1)。您将先前操作的价值调整为新操作的折扣值与奖励的总和。

您的示例中的一些误解：

1. 您实际上是在更新操作，而不是状态值
2. 您正在更新状态为 X 而非 Y 的操作的值
3. 在状态 X 采取的具体行动可能会导致各种状态，而不仅仅是 Y，所以不存在 X→Y 行动这种情况