0. 前言
1. 要解决什么问题
- 3D卷积发展迅猛，2D轻量化卷积神经网络发展也很快，但3D轻量化网络却没有太多研究。
2. 用了什么方法
- 把2D轻量化卷积神经网络转换为3D的形式。
- 在以下三个数据集上测试3D卷积网络的性能
- Kinetics-600：测试模型容量
- Jester：测试模型提取动作特征的能力
- UCF-101：测试模型的迁移能力
- 常用block的3D版
- 3D-SqueezeNet
- 最主要的就是Fire模块，如下图所示。一个类似于分组分组卷积+concat的操作，不同组的卷积核不同。
- 3D-MobileNetV1
- 本质就是加入了Depthwise Convolution，3D版的就是把2D Depthwise改为3D Depthwise。
- 3D-MobileNetV2
- 在使用Depthwise Convolution的基础上设计一个类似于resnet block的结构，改变了relu的位置。
- 3D-ShuffleNetV1
- 本网络的主要特点在于使用了 pointwise group convolution 以及 channel shuffle 操作。
- 3D-ShuffleNetV2
- 主要是改变了channel shuffle的位置。
- 上述网络总体architecture与2D网络的差不多
3. 效果如何
- 在Kinetics-600 Jester UCF-101 上的性能对比
- 3D卷积网络没有使用一些(2+1)D啥的其他操作。
4. 还存在什么问题
-
都是一些最朴素的2D转3D。
-
最大的好处就是有开源代码，可以直接用到其他地方（比如slowfast里）。