1.1×1大小的卷积核作用
首先,可以通过控制卷积核个数实现升维和降维操作,从而减少模型参数
其次,对不同特征进行归一化操作
最后,用于不同channel上的特征融合
2.训练一个模型不收敛原因有什么?
首先,考虑这个模型是否有问题,会不会出现复杂分类任务但是使用了简单的模型,也可能是数据量太过庞大,
然后是学习率设置问题,太大容易震荡,太小容易出现不收敛的情况,也有可能是没有使用归一化的情况
如果模型没有问题,也有可能是数据的标注有问题,进一步观察训练数据。
3.深度学习凸与非凸的区别。
凸函数:顺着梯度方向走到底就一定是最优解,大部分传统机器学习问题都是凸函数。
非凸函数:顺着梯度方向走到底只能保证是局部最优,不能保证是全局最优。深度学习以及小部分传统机器学习问题是非凸的。
4.resnet结构分析
resnet有building block 或bottleneck模块组成,前者比传统卷积多了一个short-cut支路,用于传递低层的信息使得网络能过够训练地很深。
bottleneck是先通过1×1卷积减少通道数量,使得中间卷积地通道减少了1/4,然后再用1×1卷积有效减少了卷积参数地个数和计算量。
resnet共有5组卷积,第一组卷积地输入大小为224×224,第五组卷积的输出大小为7×7,一共缩小了32倍。
5.简述反卷积的原理
反卷积主要在场景分割和生成模型上倍广泛采纳。卷积层的前向传播过程就是i反卷积层的反向传播过程,卷积层的反向传播过程就是反卷积层的前向传播过程。
输出的对应关系为:
o = i - k + 2p +1 (i = 2,k =3 , s=1 , p=2)