MICCAI2018

摘要:

1.CNN的特征之间有空间相关性(指的是units in feature maps (FMs) at a given location and the corresponding classified voxels不懂??),FCN利用了特征的融合(FCN可以一次分割体素是什么意思??什么叫一次分割,就是一次可以分割完整个slice)

2.但不是所有的都用空间相关性,所以就有了SEnet里面的注意力机制中的重新校准(SE,block)

3.然而,由于单元和体素之间的空间对应性,这在FCN中不是最佳的。 在本文中,我们通过线性扩展和压缩提出特征重组,以创建更复杂的语义分割特征。(线性扩展和压缩是什么意思???)

 

介绍:

贡献:

1.由于FM中的单元与体素之间存在空间对应关系,因此希望强调或抑制FM的某些区域,而不是整个FM。(不懂这个关系到底指的是什么?因为,分类的时候global average pooling对每个feature map做,那么这些feature map之间的关系就没有了,你会说后面还有全连接层可以算空间关系啊,但是全连接层算的是global average pooling之后的,在这pooling之后的元素全是每个feature map上下文的信息(即一个图片的全局信息),而分割的时候所有神经元,相同位置所对应的元素,这些元素之间都跟最后的分割有关系,所以这就叫空间关系)

2.在重组中,我们采用线性扩展,然后压缩以混合信息,而不是仅减少FM数。

3.用孔洞卷积代替了global average pooling在se block中(为什么??因为使用卷积,可以结合空间信息,那为什么一定是孔洞呢?我的理解是其实普通卷积也可以,而且也可以压缩维度,但是普通卷积感受野有限,如果采用跟feature map一样大的卷积核,又会导致参数量过大

4.在公开数据上评估

方法:

baseline segmentation

1.一个2分类WT-FCN用来分割肿瘤,使用这种分割,我们在肿瘤周围定义了一个感兴趣的长方体区域(ROI),每侧有10个额外的体素。(这10个额外的体素是什么意思?

2.最后,第二个多级FCN(MC-FCN)负责分割ROI内的多个肿瘤结构。(多分类)

3.3d的2分类FCN使用3D块和3个pooling,这可以减少假阳性(为什么可以减少假阳性?

4.MC-FCN(2D,多分类)并没有考虑RR,计算比WT-FCN更便宜,并且使用残差和使得网络与WT-FCN一样深,并没有好处。

Adaptive Feature Recombination and Recalibration for Semantic Segmentation: Application to Brain Tum

 

Recombination and Recalibration:

1.如果只用普通的se模块,将缺少空间信息,这里用1x1卷积得到更高维度的特征,所以这里通过1x1的卷积对空间信息进行一个加权,然后再使用se模块(为什么一定要是更高维度的特征?

2.对se模块的改进,由于gloabl average pooling会缺少空间相关性,一个直接的方法就是去掉global average pooling来获得空间相关性,但是又会丢失上下文信息,所以这里用孔洞卷积来代替global average pooling,并且压缩维度获得空间信息,这样既有上下文信息,又有空间信息

RR模块是先接了一个1x1卷积来获得更高维的特征,增多特征,这个特征经过SE模块后,再接一个1x1的卷积来压缩特征,这个卷积学习抑制那些具有很少判别性的特征,合成了更复杂的特征

Adaptive Feature Recombination and Recalibration for Semantic Segmentation: Application to Brain Tum

 

 

 

 

相关文章: