给定嘈杂动作和非单调强化的结果空间学习答案

【问题标题】：Learning of Outcome Space Given Noisy Actions and Non-Monotonic Reinforcment给定嘈杂动作和非单调强化的结果空间学习
【发布时间】：2013-05-10 22:47:39
【问题描述】：

我希望构建或调整一个最好基于 RL 理论的模型，以解决以下问题。非常感谢任何指导或指示。

我有一个连续的动作空间，可以从 10-100（含）范围内选择动作。每个动作都与某个强化值相关联，根据价值函数，范围从 0 到 1（也包括在内）。到目前为止，一切都很好。这就是我开始思考的地方：

并发症 1：

价值函数 V 根据给定动作 x 和目标动作 A 之间的距离将动作映射到强化。两者之间的距离越小，强化越大（即强化与abs(A - x)成反比。但价值函数只是非零对于接近 A 的动作（ abs(A - x) 小于，比如说，epsilon）并且在其他地方为零。所以：

对于abs(**A** - **x**) < epsilon，**V** 与 1 / abs(**A** - **x**) 成正比，并且

**V** = 0 为abs(**A** - **x**) > epsilon。

并发症2：

我不知道每一步都采取了什么行动。我大致知道它们是什么，因此我知道它们属于 x +/- sigma 范围，但不能将单个动作值与我收到的强化准确关联。

我想解决的确切问题如下：我有一系列嘈杂的动作估计和精确的强化值（例如，在试验 1 中，我可能有 x 约 15-30 和强化0；在试验 2 中，我的 x 约为 25-40，强化为 0；在试验 3 中，x 约为 80-95，强化为 0.6。）我想构建一个模型，表示在每一步之后对目标动作 A 的最可能位置的估计，可能根据一些学习率参数对新信息进行加权（因为确定性会随着样本的增加而增加)。

【问题讨论】：

我不完全明白你想要做什么，如果你能解释一下就好了（基本上是最后一句话）。我不明白这种情况，也许这会有所帮助。无论如何，为什么 V func 是非单调的？它为关闭 A 和 x 返回一个高值，为远 A 和 x 返回低值（最高为零）。
对于一组学习者来说，这听起来是一个合理的案例。你熟悉 Q-learning 吗？

标签： machine-learning artificial-intelligence reinforcement-learning

【解决方案1】：

这篇可能相关的期刊文章：它解决了延迟奖励和在存在噪音和不一致奖励的情况下的稳健学习。

"Rare neural correlations implement robot conditioning with delayed rewards and disturbances"

具体来说，它们会追踪（记住）在奖励事件之前触发了哪些突触（或动作）并强化所有这些突触，其中强化的数量会随着动作和奖励之间的时间而衰减。

单个奖励事件将奖励在奖励（或执行的操作）之前触发的任何突触，包括与奖励无关的突触。然而，在合适的学习率下，这应该会在几次迭代中稳定下来，只有期望的动作会得到持续的奖励和强化。

【讨论】：