《CNN笔记总结系列之四》
前言
在《CNN笔记总结系列》中，[1]-[3]已经分别介绍了卷积神经网络的数据输入层、卷积计算层和激励层。本文紧接上述内容，着重讲解卷积神经网络池化层的相关知识。
一、池化层简要介绍
池化层是夹在两个连续的卷积层之间，用于压缩数据和参数的量由此来减小过拟合的。同时，池化的目的是提取特征，以减少向下一阶段传递的数据量，所以从图像处理的层面来说，池化层的最主要的作用就是压缩图像的同时，保留图像中的关键特征信息。也就是说，每次将原图像进行卷积操作后，都通过一个下采样的过程，来减小图像的规模。
二、池化的作用及好处
- 这些统计特征能够有更低的维度，以此来减少计算量。一幅图像含有的信息量是非常大的，特征也非常多，但是有些信息对于图像任务来说是没有用途的，所以通过池化的方式把这类冗余信息去除，提取出最重要的特征进行保留，以此减小计算量。
- 不容易过拟合，当参数过多的时候很容易造成过度拟合，同时也更方便优。
- 缩小图像的规模，提升计算速度；考虑到特征的尺度不变性，在做压缩时只是去掉无关紧要的信息，留下具有尺度不变的特征，由此简化图像表达特征的方式。
图片来源：http://www.elecfans.com/emb/fpga/20171116580425_2.html
三、池化层的常用计算方法
常用的池化方法有最大池化（max-pooling）和均值池化（mean-pooling）。根据相关理论，特征提取的误差主要来自以下两个方面：
- 邻域大小受限造成的估计值方差增大；
- 卷积层参数误差造成估计均值的偏移。
一般来说，mean-pooling能减小第一种误差，更多的保留图像的背景信息，max-pooling能减小第二种误差，更多的保留纹理信息。与mean-pooling近似，在局部意义上，则服从max-pooling的准则。
3.1最大池化（Max Pooling）
对于最大池化来说，就是取局部接收域中值最大的点。一般来说，最大池化卷积核的大小一般是2 * 2，又是输入量较大时也可能是4 * 4，但是选择较大的滑动窗可能会显著降低信号的尺寸，并可能导致信息过度丢失，而且通常来说不重叠的池化窗口表现最好。
3.2均值池化（Mean Pooling）
对于均值池化来说，就是对局部接收域中的所有值求均值。
Reference
[1]http://www.elecfans.com/emb/fpga/20171116580425_2.html
[2]https://www.jianshu.com/p/1ea2949c0056
[3]http://www.woshipm.com/ai/3884563.html
[4]https://baike.baidu.com/item/%E6%9C%80%E5%A4%A7%E6%B1%A0%E5%8C%96/22692585?fr=aladdin