Paper Reading:GhostNet: More Features from Cheap Operations

GhostNet: More Features from Cheap Operations

Motivation

卷积神经网络中，特征冗余是其有效果的一大重要因素，为了解决CNN计算时会使用大量的计算量去计算冗余的特征的问题，这里提出了GhostNet。下图为ResNet-50里面特征图的可视化，可以看到有很多相似的特征图。

Architecture

Ghost Module for More Features

对于一般卷积来说，
$Y = X*f + b, f\in c*k*k*n$Y=X∗f+b,f∈c∗k∗k∗n
对于ghost module来说，
$\hat Y = X*\hat f + b, f\in c*k*k*m, m <= n$Y^=X∗f^​+b,f∈c∗k∗k∗m,m<=n
其中对于生成的特征，如下图所示，会比正常卷积生成的特征层数少，然后利用一些cheap的linear operation（如3*3的depth wise 卷积）去得到ghost feature。

减少的计算量比例，

Ghost bottleneck：

可以对特征图做pooling，继续减少计算量。

Experiments

在分类上的结果：