进化计算可以成为强化学习的一种方法吗？答案

【问题标题】：Can evolutionary computation be a method of reinforcement learning?进化计算可以成为强化学习的一种方法吗？
【发布时间】：2012-09-06 19:58:33
【问题描述】：

什么是进化计算？它是一种强化学习的方法吗？还是一种单独的机器学习方法？或者没有？

请引用用于回答此问题的参考资料。

【问题讨论】：

标签： machine-learning artificial-intelligence reinforcement-learning evolutionary-algorithm

【解决方案1】：

有一些进化方法明确旨在解决强化学习问题。该子领域通常称为学习分类器系统 (LCS)，有时也称为基于遗传学的机器学习 (GBML)。

除此之外，我不确定您的问题是否有明确的答案。它基本上归结为“什么是机器学习？”对于如何回答这个问题，我们都没有一致同意的标准。对于某些人来说，EC 可能是该子领域的一部分。对于其他人，它不是。我刚刚从书架上挑选了几本 ML 教科书，其中大约一半包含关于进化方法的材料。我怀疑 15 年前这个比例会更高，但时尚在改变，机器学习现在几乎是统计学的一个子领域。 EC 方法不太适合这种模式。

【讨论】：

这是目前最好的答案，但我会继续搜索...感谢您的精彩回答！

【解决方案2】：

进化计算或进化算法是优化算法，当应用于神经网络（如神经进化）时，当然可以归类为强化学习的一种形式，尽管它的工作方式与通常的强化有点不同学习算法。

通常，在遗传算法或进化策略等进化算法中，需要优化整个个体群体。对于这些个体中的每一个，使用质量函数来确定他们的“适合度”（如“适者生存”），并为下一代选择最佳个体。然后，这些“父母”会被随机复制、修改、变异，甚至相互重新组合——在每种不同的算法中，具体如何完成都有些不同。最后，那些新的突变和/或重组的父母形成了下一代的种群，这个过程再次开始，直到达到某种期望的质量，或者质量达到水平。

在神经进化的情况下，个体是神经网络，通过随机改变权重（而在经典神经网络中，权重根据非常精确的数学规则更新）甚至改变它们的拓扑结构，以及质量个人的多少取决于他们在训练数据上的表现。

抱歉，这里没有严格的科学参考，但也许这仍然有助于澄清一些事情。

【讨论】：

感谢您的回答，但主要问题是在可靠参考中与强化学习相关的进化算法分类
我不同意。 RL 需要通过一系列状态和动作与环境进行交互。进化算法就是不适合这种模式。

【解决方案3】：

强化学习 [1] 和进化计算 [2] 之间的主要区别在于，原始意义上的 RL 应用于环境中的代理，学习策略（另见 reinforcement learning 上的维基百科文章），而EC 是一类搜索算法的更通用术语，它使用“进化”启发的方法来优化搜索。我根本不会将 EC 归类为机器学习，而且我还没有找到这样的来源。

[1] 强化学习：简介 - RS Sutton, AG Barto - 1998 - 剑桥大学出版社

[2] 什么是进化计算？ - DB Fogel - Spectrum，IEEE，2000 年

【讨论】：

很好的答案，但我看过一所大学的演讲，其中说机器学习方法之一是进化的。加看这里：local.wasp.uwa.edu.au/~derek/files/ncca/talks/ecg/research/html/… 它说“一些作者将 EC 归类为特定类型的 ML”，我们需要的是一些准确地谈论这个的参考
顺便说一句 [1] 确实提到 RL 可用于解决规划问题，这是进化计算的常见用途。

【解决方案4】：

2017 年更新：答案是肯定的。 most downloaded paper over the past month in Reinforcement Learning，恰如其分地命名为“进化策略作为强化学习的可扩展替代方案”确实是城里的话题。

【讨论】：

【解决方案5】：

那么，进化计算在哪里？它是一种强化学习的方法吗？还是一种单独的机器学习方法？或者没有？

我认为 EC 和 ML 是截然不同的。但是，有一些很棒的应用程序可以结合使用。虽然这已经是一个小领域的研究很长一段时间了，但我觉得在结合 EC 和 ML 的领域有一些唾手可得的成果。我认为很多人没有耐心看透这些想法。

【讨论】：