深度学习算法/模型——深度学习基础（持续更新）

深度学习基本概念

• 1. 神经网络基础（概念）
• 1.1 前馈神经网络
• 1.2 卷积神经网络
• 概念
• 1.3 循环神经网络
• 2. 深度学习模型（架构）
• 3. 深度学习应用
• 3.1 CV
• 3.2 NLP

1. 神经网络基础（概念）

1.1 前馈神经网络

1.2 卷积神经网络

概念

• 感受野
  可以理解为模型顶端的数据所包含底层数据的范围，类似人眼所能看的范围。

• 卷积 = 一种数学运算

• 卷积核 = filter（过滤器）= 滑动窗口 = 隐藏神经元

  卷积层的基本原理就是图像的二维卷积，即将一个二维卷积模板先翻转（旋转180°），再以步长stride进行滑动，滑动一次则进行一次模板内的对应相乘求和作为卷积后的值。

• 卷积核的尺寸/大小 = 长 x 宽

• 卷积核的形状 = 三个维度（长、宽、深）

• 卷积核的深度 = 当前图像的深度（feather map的张数）相同

• 卷积核的个数 = 卷积后输出的通道数

• 一个 feature map = 一个二维片状的数据

  输入层：在输入层，如果是灰度图片，那就只有一个 feature map；如果是彩色图片，一般就是3个feature map（红绿蓝）。

  其它层：层与层之间会有若干个卷积核（kernel）（也称为过滤器），上一层每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map，有N个卷积核，下层就会产生N个feather map。

例如：28x28x3 (三通道W-H-D)的输入图片，经过 6 个 filter（深度也必须为 3）之后变为了深度为 6 的 feature map（28x28x6）

• 输出大小的计算

① 无填充的情况：

② 有填充的情况

• 卷积层的参数
  图像本身不含有参数，参数来自于filter，即卷积核。一个3x3的卷积核，它的参数就是9。

  如果有多通道，则用单通道卷积核的参数量乘以通道数。

  如果一个卷积层有多个filter，则再乘以当层filter 数量

• 参数量 = （filter size * 前一层特征图的通道数 ）* 当前层filter数量

1.3 循环神经网络

2. 深度学习模型（架构）

3. 深度学习应用

3.1 CV

3.2 NLP

参考：

1. CNN中feature map、卷积核、卷积核个数、filter、channel的概念解释
2. Deep Learning（深度学习）学习笔记整理系列之（七）
3. 深度学习笔记五：卷积神经网络CNN(基本理论)
4. CNN卷积层、全连接层的参数量、计算量