是否有替代反向传播的方法？答案

【问题标题】：Are there alternatives to backpropagation?是否有替代反向传播的方法？
【发布时间】：2019-08-12 16:42:08
【问题描述】：

我知道可以使用梯度下降训练神经网络，并且我了解它的工作原理。

最近，我偶然发现了其他训练算法：共轭梯度和准牛顿算法。我试图了解它们是如何工作的，但我唯一能得到的直觉是它们使用的是高阶导数。

我的问题如下：我提到的那些替代算法是否与通过使用损失函数的梯度来调整权重的反向传播过程有根本的不同？如果没有，是否有一种算法可以训练与反向传播机制根本不同的神经网络？

谢谢

【问题讨论】：

恕我直言，反向传播不是一种学习算法。它是一种梯度计算算法。学习通常是通过随机梯度来完成的。但你也可以做 bfgs 和 co。当然你也可以通过遗传算法等来调整权重，而不需要真正的梯度

【解决方案1】：

共轭梯度和拟牛顿算法仍然是梯度下降算法。反向传播（或反向传播）是nothing more than a fancy name 到梯度计算。

但是，反向传播的替代方案的原始问题非常重要。例如，最近的替代方案之一是equilibrium propagation（或简称为 eqprop）。

【讨论】：

【解决方案2】：

Neuroevolution of augmenting topologies 或 NEAT 是另一种使用遗传算法学习网络拓扑和网络权重/偏差的方法。

【讨论】：

我猜模拟退火会更好。但是，无论您采用何种形式，随机搜索都是昂贵的。遗传算法是局部波束搜索方法的一种变体。我们必须注意，尽管将权重编码为单个函数是一个聪明的想法，并且当我们有足够的计算能力时可能会起作用，比如当 FPGA 成为主流时