【问题标题】:CNN - Backpropagation of a Convolutional LayerCNN - 卷积层的反向传播
【发布时间】:2017-01-12 06:45:07
【问题描述】:

我正在构建一个只有卷积层的 CNN(到目前为止)。

我使用了与 ANN 相同的算法。因为 Conv 层没有完全连接并且具有共享权重,所以我不确定如何为此计算梯度和适当的统计数据。我试图平均 &Delta 权重并使用平均值进行反向传播。经过几次测试后,我认为这不起作用,并且它使迭代计算非常慢(每秒 1 次迭代而不是 80 次)。

如何正确反向传播 Conv 层?

如果有人有任何关于其他层(如池化)的反向传播的信息或链接,那也很好。

【问题讨论】:

  • 我认为这里不适合处理这类问题。试试看:stats.stackexchange.com
  • 卷积可以解释为一个全连接层,其参数矩阵非常稀疏,并且共享多个值。反向传播只是该矩阵的转置。

标签: c++ c++11 neural-network artificial-intelligence backpropagation


【解决方案1】:

有很多SGD(随机梯度下降)算法可以选择反向传播。你可以试着看看他们中的一些喜欢 - 势头 - AdaGrad - AdaDelta - 亚当 ...

【讨论】:

    猜你喜欢
    • 2017-07-24
    • 2017-09-27
    • 2020-05-27
    • 1970-01-01
    • 2018-06-21
    • 1970-01-01
    • 2021-10-20
    • 2017-04-04
    • 1970-01-01
    相关资源
    最近更新 更多