3D multi-scale FCN with random modality voxel dropout learning for Intervertebral Disc Localization and Segmentation from Multi-modality MR Images
在这项工作中，我们的目标是开发一种基于全卷积网络（FCN）的自动且准确的方法，用于从多模态 3D MR 数据中对椎间盘（IVD）进行定位和分割。与单模态数据相比，多模态 MR 图像提供了互补的上下文信息，有助于更好的识别性能。然而，如何有效地整合这种多模态信息以产生准确的分割结果仍有待进一步探索。在本文中，我们提出了一种新颖的多尺度和模态 dropout 学习框架，用于从四模态 MR 图像中定位和分割 IVD。首先，我们设计了一个 3D 多尺度上下文完全卷积网络，该网络在多个上下文尺度上处理输入数据，然后合并高级特征以增强网络处理解剖结构尺度变化的表示能力。其次，为了利用来自不同模态的补充信息，我们提出了一种随机模态体素 dropout 策略，该策略可减轻共适应问题并提高网络的判别能力。
方法
下图概述了我们提出的带有随机模态体素辍学学习框架的多尺度 FCN，用于从多模态 MR 图像进行 IVD 定位和分割。 为了处理 IVD 的规模变化，我们的多尺度全卷积网络（MsFCN）包含三个途径，这些途径采用从同一位置提取的体积区域来利用不同尺度的上下文信息。 为了提高训练效果，对输入的多模态数据采用了模态 dropout 策略，以减少特征的自适应，并鼓励每个模态图像独立提供判别信息。 图中（a）四个模态输入图像。 （b）我们的多尺度学习模块。 每个路径包含几个卷积层，ReLU 层和解卷积层。 （c）得分值。 （d）通过在概率图上设置阈值获得的分割结果。 （e）定位结果是在每个分割蒙版中标识的 IVD 的质心（显示为红色十字）。
总结
用 FCN 进行特征提取再融合，采用了模态随机 dropout。