1、基础网络处理方法
PointwiseConv：
DepthwiseConv：
Ghost Module：
2、轻量化模型：
（1）MobileNet v2
（2）ShuffleNet
（3）ghostNet：由MobileNet演变而来，发现卷积过程中有冗余，可以
Ghost Module和深度分离卷积就很类似？
3、卷积神经网络
input layer 输入层：
▲对输入的图像进行标准化
hidden layer 隐藏层：
▲全连接：在conv和pool后提取特征，fully connected 一般位于隐藏层最后，整合特征并输出样本标签，将隐式特征映射到样本标记空间
▲池化：降低数据维度
▲convolution layer 卷积：感受野-卷积核kernel（每个元素有对应weight和bias），提取feature，step，卷积尺寸计算：
局部连接
权值共享
▲残差模块
output layer 输出层
用逻辑函数或softmax函数来输出分类标签；物体检测任务中，输出的是坐标和分类
4、全卷积网络FCN（如果要做定位，用全卷积效果更好）
对图像进行像素级的分类，从而解决了语义级别的图像分割、（semantic segmentation）问题；
经典的CNN在卷积层+全连接层 得到固定长度的特征向量进行分类（全联接层＋softmax输出），（如5中识别猫咪的例子），CNN要求输入图片为统一尺寸，这容易使图像原像素坐标畸变，无法准确定位；
FCN全部由卷积层构成，可以接受任意尺寸的输入，由于纯卷积操作的平移不变性，网络输出保持原始输入图像的空间信息！
分为前向传播：提取特征；后向传播，将提取的特征复原到原图尺寸
5、CNN类网络
▲AlexNet：
其中ImageNet，经典CNN结构适合于图像级的分类和回归任务，因为它们最后都期望得到整个输入图像的一个数值描述（概率），比如AlexNet的ImageNet模型输出一个1000维的向量表示输入图像属于每一类的概率(softmax归一化)。
6、YOLSE网络结构
中间的conv4-7，卷积没有改变尺寸和通道，作用：增加模型的深度，增强表达性；图形无法用简单的线性函数准确描述，增加卷积层数=增加非线性函数的复杂性（类比理解：泰勒展开，增加的阶数越高，越接近函数真实值）