今天我给大家介绍的是一篇face++的关于改进卷积的分割网络。由于时间关系大概讲下论文思路。

首先,论文分析了 Semantic Segmentation这个任务:

1基础知识:(1)大卷积效果比小卷积好,因为大卷积可以接收的感受野大,对于物体语义可以进行更好的判断(classification),但是大卷积损失了细节信息多点,而且参数也多;

(2)堆积小卷积可以达到大卷积的效果,实现大的感受野,而且参数也会少,比如1个7×7conv = 3个3×3conv的感受野,但是非线性过程中没有全局信息,而分割任务要做像素上的预测,所以即使这样也是不能很好把全局信息关联起来,也只是逐个像素的处理

2 Semantic Segmentation

 Semantic Segmentation= classification+localization

(1)classification要求大感受野、全局观看,以便更好分类出像素点的语义信息,Global

(2)localization要求细节信息,局部观看,这样才能更好地分割边界,Local

motivation:同时实现classification+localization的要求就能进行更好地分割,所以设计一个卷积或者结构既能实现global和local的。

论文给出了两个示意图来说明问题和motivation:

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

图一,A,分类综合全局信息进行类别判断;B,分割单独像素点和通道进行判断;C,论文模型每个结果都要一个全局信息也要局部信息

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

图三,AB小感受野对于图像精细分割是不错,但是当大小scale相同样品出现的时候,捕捉到的信息不一致、不完整,所以我们会希望conv的size越大越好,但是有和localization相矛盾;C论文的可以更好适应图片中的信息。

接下来看论文的结构:

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

论文可以看到是基本的U-Net变形,下采样然后上采样,改进的地方在于skip过去的下采样过程的map,其他人都是直接传递过去的,而本文则是对直接的map做了变化,上采用过程用deconv没有改变。

创新点是提出了两个结构,一个是GCN,一个是BR,开始我以为这两个结构是各自针对classification的和localization的,后来才发现重点还是GAN,它同时实现了classification和localization。

GCN:采用两个对称的通道的信息,k是大的kenel,用来实现大的感受野,1是小的kenel,用来实现精细的localization,这样的话既能获得较大感受野下的全局信息,又能实现1.。。一步步的逐个观看。最后sum是为了更好的互补。emmmm,所以说还是有一定道理的。

BR:为了更好更精细地找到边界信息,对原来的map进行修正,从原理上理解采用残差(2个3×3的conv)的形式,残差从一定程度上看是增强差值信息增强边缘的操作,具体是否有效本人没有实证。

论文提出的结构属于conv结构的变化,也不止用在分割上,所以也给出了集中conv组织模式的比较:

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

A本文结构:有global和local

B小卷积:只有local

C大卷积:只有global

D堆积小卷积:有global和local,但没本文效果好,参数也多

实验:

很丰富很全,具体如下:

1卷积核大小的性能比较

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

2GCN效果比较

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

3GCN与堆积小卷积比较:参数和性能

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

4GCN和BR分别提升效果分析:

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

5GCN用来改进resnet及效果比较:

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

6在PASCAL VOC上的结果:

PaperReading4-Large Kernel Matters—— Improve Semantic Segmentation by Global Convolutional Network

好了,今天介绍就到这里,相关的参考信息可以查看其他博客加深理解:https://blog.csdn.net/u011974639/article/details/78897066


read_rate:20180714



相关文章: