背景：
DNN拿掉一些参数就成CNN
为什么可以这样做
- 每一个神经元只需要图中的一部分就可以识别出想要的模式
更小的区域意味着更少的参数 - 同样的模式也许出现在图片的不同位置
这时参数可以共享 - 对像素进行缩减（例如把奇数行偶数列的都删去）对图像识别不会有太大影响
这无疑也能减少参数
CNN的架构如下图所示
其中卷积层和池化层要重复多少次，在训练之前就得决定
拿掉参数的3种方式分别对应以下层
卷积层
如上图，左侧是一张6x6的黑白图像，1表示有像素0表示没有
右侧是一组filter，本质是矩阵，当中的参数是要学到的
这对应刚刚的性质1，即要识别的模式只存在于图片中的一小个区域
首先将filter放到图片左上角，让两个3x3的矩阵做内积
根据步长(stride)移动filter，直至到达图像的右下角不能再移动，便得到一个4x4的矩阵
观察filter，发现其主对角线的参数为1，即识别的模式是一条斜线
从结果中可以知道3对应的位置——左上和左下有我们要找的模式
这就对应了性质2：相同的模式可能出现在图片的不同位置
更换filter，重复上一个filter做的事，得到一个新的4x4结果矩阵。
所有filter做完之后得到的结果之和就是feature map。
将黑白图片换成彩色图片，则每个filter要从1个矩阵变成3个矩阵。
可以把6x6的图片看成是36个输入，3x3的filter看成是9个权重，与全连接相比，得到3这个结果本需要36个权重，现在只要9个，无疑减少了参数的数目。
将filter移动，与新的9个输入再做内积，这样不同的神经元共享了参数，进一步减少了参数。
池化层
把做内积得到的4x4矩阵，进一步缩小，本文中采用的方法是将其均匀分成四个部分，取每个部分的最大值保留
经过卷积和池化，我们就得到了和filter数目一样多的channel
卷积和池化可以重复多次，值得注意的是
如果第一层卷积核有2个filter，第二层卷积核的数目还是2个，但第一层的深度只有1，第二层filter深度为2。经过两次卷积池化，得到的结果还是2个channel。
摊平
将channels展开，丢进全连接前馈神经网络，然后就没有然后了。
Keras
输入1层28x28的图片，经过25个3x3的filter卷积层，得到25层26x26的图片
其中25来由:channel数等于filter数
26来由：28-3+1（想想矩阵框在图片上的移动）
值得注意的是，第一个卷积层的每个filter有3x3=9个参数，第二个卷积层的filter有25层，每个filter有3x3x25=225个参数。
将最终得到的50x5x5的图片flatten得到一个1250维的输入，丢进全连接前馈神经网络。
看到33：26