【问题标题】:What is the difference between back-propagation and feed-forward Neural Network?反向传播和前馈神经网络有什么区别?
【发布时间】:2015-04-08 20:08:16
【问题描述】:

反向传播和前馈神经网络有什么区别?

通过谷歌搜索和阅读,我发现在前馈中只有前向,但在反向传播中,一旦我们需要进行前向传播然后反向传播。我提到了this link

  1. 除了流向之外还有什么不同吗?重量计算呢?结果?
  2. 假设我正在实施反向传播,即它包含正向和反向流。那么反向传播是否足以显示前馈?

【问题讨论】:

    标签: machine-learning neural-network classification backpropagation


    【解决方案1】:
    • Feed-Forward Neural Network 是一种神经网络架构,其中的连接是“前馈”的,即不形成循环(如循环网络)。

    • “前馈”一词也用于在输入层输入内容并移动从输入层到隐藏层以及从隐藏层到输出层。
      这些值是“前馈”的

    “前馈”短语的这两种用法都与训练本身无关。

    • 反向传播是一种训练算法,包括 2 个步骤:1) 前馈值 2) 计算误差并将其反向传播较早的层。因此,准确地说,前向传播是反向传播算法的一部分,但在反向传播之前。

    【讨论】:

      【解决方案2】:

      没有纯粹的反向传播或纯粹的前馈神经网络。

      反向传播是训练(调整权重)神经网络的算法。 反向传播的输入是 output_vector、target_output_vector、 输出为adjusted_weight_vector。

      前馈是从输入向量计算输出向量的算法。 前馈的输入是 input_vector, 输出是 output_vector。

      在训练神经网络时,需要同时使用这两种算法。

      当您使用神经网络(经过训练)时,您仅使用前馈。

      神经网络的基本类型是多层感知器,即前馈反向传播神经网络。

      还有更高级的神经网络类型,使用修改后的算法。

      也是学习的好来源:ftp://ftp.sas.com/pub/neural/FAQ.html 最好理解的原理是编程(本视频教程)https://www.youtube.com/watch?v=KkwX7FkLfug

      【讨论】:

      【解决方案3】:

      简单来说:

      前馈是一种架构。相反的一个是循环神经网络。

      反向传播 (BP) 是一种求解方法。 BP 可以解决前馈和循环神经网络。

      【讨论】:

      • 带FFNN的BP不就是RNN吗?
      • 没有。 FFNN 与 RNN 不同,例如男性与女性。 BP是一种求解方法,与FFNN还是RNN无关。
      【解决方案4】:

      神经网络可以有不同的架构。它们的神经元之间的连接决定了信息流的方向。根据网络连接,它们被分类为 - 前馈和循环(反向传播)。

      前馈神经网络

      在这些类型的神经网络中,信息仅沿一个方向流动,即从输入层到输出层。权重一旦确定,通常不会改变。一个要么明确地决定权重,要么使用像径向基函数这样的函数来决定权重。这里的节点在不知道产生的结果是否准确的情况下完成它们的工作(即它们不会根据产生的结果重新调整)。没有来自前面的层的通信。

      循环神经网络(反向传播)

      信息从输入层传递到输出层以产生结果。结果中的错误现在会传回之前的层。节点会知道他们对错误答案的贡献有多大。重新调整权重。神经网络得到改进。它学习。信息是双向流动的。这基本上实现了两种算法,前馈和反向传播。

      【讨论】:

      • 这里有些混乱。前馈神经网络和递归神经网络是神经网络的类型,而不是训练算法的类型。训练算法有 BackProp 、 Gradient Descent 等,用于训练网络。在 FFNN 中,一层的输出不会影响自身,而在 RNN 中会。
      • 谢谢@VaradBhatnagar。 “算法”这个词被放在了一个奇怪的地方。这确实引起了混乱。我现在试图更恰当地提出我的观点。
      • 备注:前馈神经网络也可以按照您在循环神经网络中描述的过程进行训练。
      猜你喜欢
      • 1970-01-01
      • 2017-08-19
      • 2014-03-15
      • 2015-03-03
      • 2012-02-21
      • 2011-01-05
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多