您如何准确计算卷积神经网络中过滤器的梯度？答案

【问题标题】：How exactly do you compute the gradients for the filters in a convolutional neural network?您如何准确计算卷积神经网络中过滤器的梯度？
【发布时间】：2019-10-01 07:03:39
【问题描述】：

我从几篇文章中了解到，要计算过滤器的梯度，只需将输入体积作为输入，误差矩阵作为内核进行卷积。之后，您只需用梯度减去过滤器权重（乘以学习率）。我实现了这个过程，但它不起作用。

我什至尝试自己用笔和纸进行反向传播过程，但我计算的梯度并没有使过滤器的性能更好。那我是不是对整个过程理解错了？

编辑：我将提供一个例子来说明我对 CNN 中的反向传播及其问题的理解。

考虑一个卷积层的随机输入矩阵：

1, 0, 1

0, 0, 1

1, 0, 0

还有一个随机权重矩阵：

1, 0

0, 1

输出将是（应用 ReLU 激活器）：

1, 1

0, 0

该层的目标是一个用零填充的 2x2 矩阵。这样，我们知道权重矩阵也应该用零填充。

错误：

-1, -1

0, 0

通过应用上述过程，梯度为：

-1, -1

1, 0

所以新的权重矩阵为：

2, 1

-1, 1

这无济于事。如果我重复这个过程，过滤器的权重就会达到非常高的值。所以我一定在某个地方犯了错误。那么我做错了什么？

【问题讨论】：

"我是不是对整个过程理解错了？"没有一个详细的例子来说明你是如何理解它没有多大意义，当然也不是一个有效的 SO 问题。既然你说你确实实现了这个过程，请在这里分享实现，否则你的问题太笼统和模糊了

标签： machine-learning deep-learning conv-neural-network backpropagation

【解决方案1】：

我会给你一个完整的例子，不会很短，但希望你能明白。为了简单起见，我省略了偏置和激活函数，但是一旦你得到它，添加它们就足够简单了。请记住，CNN 中的反向传播与简单的 MLP 中的反向传播本质上是相同的，但您将使用卷积而不是乘法。所以，这是我的示例：

输入：

.7 -.3 -.7 .5
.9 -.5 -.2 .9
-.1 .8 -.3 -.5
0 .2 -.1 .6

内核：

.1 -.3
-.5 .7

进行卷积产生（第 1 个卷积层的结果，以及第 2 个卷积层的输入）：

.32 .27 -.59
.99 -.52 -.55
-.45 .64 .13

L2 内核：

-.5 .1
.3 .9

L2 激活：

.73 .29
.37 -.63

在这里，您将有一个展平层和一个标准 MLP 或 SVM 来进行实际分类。在反向传播期间，您将收到一个 delta，为了好玩，我们假设如下：

-.07 .15
-.09 .02

这将始终与您在展平层之前的激活大小相同。现在，要计算当前 L2 的内核增量，您将 L1 的激活与上述增量进行卷积。我不会再次写下来，但结果将是：

.17 .02
-.05 .13

更新内核的方式为 L2.Kernel -= LR * ROT180(dL2.K)，这意味着您首先旋转上述 2x2 矩阵，然后更新内核。对于我们的玩具示例，结果是：

-.51 .11
.3  .9

现在，要计算第一个卷积层的 delta，请回忆一下在 MLP 中您有以下内容：current_delta * current_weight_matrix。那么在 Conv 层，你几乎有相同的。您必须将 L2 层的原始内核（更新前）与当前层的增量进行卷积。但是这个卷积将是一个完整的卷积。结果竟然是：

.04 -.08 .02
.02 -.13 .14
-.03 -.08 .01

有了这个，您将进入第一个卷积层，并将原始输入与这个 3x3 delta 进行卷积：

.16 .03
-.09 .16

并以与上述相同的方式更新您的 L1 内核：

.08 -.29
-.5 .68

然后你可以从前馈重新开始。上述计算四舍五入到小数点后 2 位，并使用 0.1 的学习率来计算新的内核值。

TLDR：

你得到一个增量
您计算将用于下一层的下一个增量为：FullConvolution(Li.Input, delta)
计算用于更新内核的内核增量：Convolution(Li.W, delta)
转到下一层并重复。

【讨论】：