深度强化学习针对相似的观察，但需要完全不同的动作，如何解决？答案

【问题标题】：Deep reinforcement learning for similar observations but need totally different actions, how to solve it?深度强化学习针对相似的观察，但需要完全不同的动作，如何解决？
【发布时间】：2020-11-16 20:35:22
【问题描述】：

对于使用神经网络的 DRL，如 DQN，如果有一项任务需要在类似的观察中完全不同的动作，那么 NN 是否会在此时显示其弱点？ NN 的两个近端输入会产生相似的输出吗？如果是这样，它不能得到不同的任务需要吗？

例如： 代理可以从 [A,B,C,D,E] 中选择离散动作，这里是二进制列表 [0,0,0,0,0,0,0] 中的一组插件的观察。

对于观察 [1,1,1,1,1,1,1] 和 [1,1,1,1,1,1,0]，它们非常相似，但如果智能体应该在 [ 1,1,1,1,1,1,1] 但动作 D 在 [1,1,1,1,1,1,0]。这两个观察距离太近，所以 DQN 可能不容易得到正确的动作？如何解决？

还有一件事： 一种热编码是一种改善观察之间距离的方法。对于许多监督学习任务来说，这也是一种常见且有用的方法。但一热也会大幅增加维度。

【问题讨论】：

Artificial Intelligence Stack Exchange 可能是提出与强化学习相关的理论问题的更好地方，所以我建议您在那里提出问题。如果你在那里问，请从这里删除（以避免交叉发布，这通常是不鼓励的）。

标签： deep-learning reinforcement-learning

【解决方案1】：

NN 的两个邻近输入会产生相似的输出吗？

人工神经网络本质上是非线性函数逼近器。这意味着对于两个给定的相似输入，输出可能非常不同。

考虑到这个例子，你可能会有直觉，两张非常相似的图片（右边的一张只是添加了一些光噪声）给模型提供了非常不同的结果。

对于观察 [1,1,1,1,1,1,1] 和 [1,1,1,1,1,1,0]，它们非常相似，但如果智能体应该在 [ 1,1,1,1,1,1,1] 但动作 D 在 [1,1,1,1,1,1,0]。这两个观察距离太近，所以 DQN 可能不容易采取正确的行动？

我认为这个示例没有问题，经过适当训练的 NN 应该能够为两个输入映射所需的操作。此外，在您的示例中，输入向量包含二进制值，这些向量中的单个差异（意味着它们的汉明距离为 1）足以让神经网络正确分类它们。

此外，神经网络中的非线性来自激活函数，希望对您有所帮助！

【讨论】：