1、标题图示池化层(前向传播)

池化层其实和卷积层有点相似,有个类似卷积核的窗口按照固定的步长在移动,每个窗口做一定的操作,按照这个操作的类型可以分为两种池化层:

输入参数如下:
输入: 1 * 3 * 4 * 4
池化核: 2 * 2
pad: 0
步长:2
输出参数如下:
输出:1 * 3 * 2 * 2

1.1、MAX (max pooling)在窗口中取最大值当做结果

MAX POOLING

1.2、AVG (average pooling)在窗口中取平均值当做结果

AVG POOLING

2、 池化层的反向传播

按照前向传播的分类,反向传播也需要分成两类

2.1、MAX (max pooling)

* 如果只看输出矩阵中的一个点y,则有 y = max( x1 , x2, x3, ... );
* 所以对x求导后有(可以理解成分段函数的求导)

max pooling求导公式
* 代码实现:
max 源码

可见上图,这个xn如果影响多个y,则会叠加起来

2.2、 AVG (average pooling)

* 如果只看输出矩阵中的一个点y,则有 y = ( x1 , x2, x3, ... ,xn )/n;
* 所以对x求导后有

avg 求导公式
* 代码实现
avg 源码

可见上图,这个xn如果影响多个y,则会叠加起来

相关文章:

  • 2021-08-29
  • 2021-11-27
  • 2021-11-27
  • 2021-12-07
  • 2021-10-07
  • 2021-06-28
猜你喜欢
  • 2022-12-23
  • 2021-11-27
  • 2021-11-27
  • 2021-11-27
  • 2022-12-23
  • 2022-01-12
相关资源
相似解决方案