卷积神经网络(Convolutional Neural Network,CNN)是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。

感受野和权值共享

卷积神经网络一个牛逼的地方就在于通过感受野和权值共享减少了神经网络需要训练的参数的个数,这有助于提高一般前向BP算法的训练性能。

卷积神经网络(CNN)小结

感受野其实就是一个隐藏层神经元的局部连接大小。在全连接结构的神经网络中,隐藏层神经元和输入层的所有神经元都存在形成连接,带来的潜在问题是参数数量的膨胀。假设输入的是一幅像素为100100的图像,隐含层有1000个节点,光这一层就有(100100+1)*1000个权重需要训练,这不仅容易过拟合,而且极容易陷入局部最优。在卷积神经网络中,感受野就是卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小,即隐藏层神经元只与对应感受野区域内的输入神经元相关。权值共享就是使用相同的卷积核在输入中的不同感受野中做卷积操作。

卷积和池化

卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。

卷积神经网络(CNN)小结

图中所示的C1、C3通常为卷积层,S2、S4通常为池化层,除此之外通常还包含全连接层等。

卷积层通常也称为特征提取层,每个神经元与前一层的局部感受野相连,并提取该局部的特征。通常为了提取多个特征,需要使用多个卷积核。假设卷积核大小为55,使用20个卷积核,则需要训练的参数个数为(55+1)*20=520。

隐藏层神经元的个数取决于输入大小、卷积核大小、卷积步长和卷积核数。假设对于100100的输入,采用的卷积核为55大小,卷积步长为1,则隐藏层神经元的个数为(100-5+1)(100-5+1)20,每个神经元与5*5个输入神经元相连。不同卷积核去卷积图像会得到对图像的不同特征的反应映,我们称之为特征图(Feature Map)。

卷积神经网络(CNN)小结

池化层的输入一般来源于上一个卷积层,进行池化主要是为了提供鲁棒性,同时减少参数的数量,防止过拟合现象的发生。常见的池化操作有平均池化和最大池化,其中,平均池化指的是计算图像区域的平均值作为该区域池化后的值,最大池化是选图像区域的最大值作为该区域池化后的值。

卷积神经网络(CNN)小结

相关文章: