1.1×1大小的卷积核作用

首先,可以通过控制卷积核个数实现升维和降维操作,从而减少模型参数

其次,对不同特征进行归一化操作

最后,用于不同channel上的特征融合

2.训练一个模型不收敛原因有什么?

首先,考虑这个模型是否有问题,会不会出现复杂分类任务但是使用了简单的模型,也可能是数据量太过庞大,

然后是学习率设置问题,太大容易震荡,太小容易出现不收敛的情况,也有可能是没有使用归一化的情况

如果模型没有问题,也有可能是数据的标注有问题,进一步观察训练数据。

3.深度学习凸与非凸的区别。

凸函数:顺着梯度方向走到底就一定是最优解,大部分传统机器学习问题都是凸函数。

非凸函数:顺着梯度方向走到底只能保证是局部最优,不能保证是全局最优。深度学习以及小部分传统机器学习问题是非凸的。

4.resnet结构分析

resnet有building block 或bottleneck模块组成,前者比传统卷积多了一个short-cut支路,用于传递低层的信息使得网络能过够训练地很深。

深度学习知识点4

bottleneck是先通过1×1卷积减少通道数量,使得中间卷积地通道减少了1/4,然后再用1×1卷积有效减少了卷积参数地个数和计算量。深度学习知识点4

resnet共有5组卷积,第一组卷积地输入大小为224×224,第五组卷积的输出大小为7×7,一共缩小了32倍。

5.简述反卷积的原理

反卷积主要在场景分割和生成模型上倍广泛采纳。卷积层的前向传播过程就是i反卷积层的反向传播过程,卷积层的反向传播过程就是反卷积层的前向传播过程。

输出的对应关系为:

o = i - k + 2p +1 (i = 2,k =3 , s=1 , p=2)

 深度学习知识点4

相关文章: