摘要：使用腺体的形态评估腺癌的恶性程度是病理学家常规手段，从解剖结构中准确分割腺体图像是获得可靠的形态是统计量化诊断的关键一步。在本文中，我们提出了一个高效的深度轮廓感知网络（DCAN），在统一的多任务学习框架下解决这个具有挑战性的问题。在提出的网络中，来自分层结构中的多级上下文特征被探索来为准确的腺体分割作为辅助监督。在训练过程中加入多任务正则化，可以进一步提高中间特征的判别能力。而且，我们的网络不仅可以输出准确的概率图腺体，同时也为分离成簇的物体描绘出清晰的轮廓，这进一步促进了腺体细分表现。这个统一的框架可以
当应用于大规模组织病理学数据时是有效的，同时不需要采取额外的步骤来产生轮廓。我们的方法赢得了2015年MICCAI腺体分割挑战赛，同时超过所有其他方法的13个竞争团队相当大的幅度。
1 引言
与我们最相关的研究工作是设计了一个用于生物医学图像分割的U型深卷积网络，并且赢得了最近几个重大挑战[30]。在本文中，我们提出了一种新的深度轮廓感知网络来解决这个挑战性的问题。我们的方法解决腺体分割的三个关键问题。第一，我们的方法利用多层次的上下文特征表示以端到端的方式进行有效的腺体分割。充分利用完全卷积网络，它可以以一个图像作为输入，直接输出概率图一次向前传播。因此，这是非常高效应用于大规模组织病理图像分析。其次，因为我们的方法不做一个关于腺体结构的假设，可以很容易推广到具有不同组织病理学的活检样本包括良性和恶性病例的分级。此外，而不是独立处理分割任务，我们的方法探索补充信息，即腺体和轮廓，在多任务学习下框架。因此，它可以同时分割腺体，并将聚类物体分成单独的物体，特别是在良性情况下有接触连接的腺体。 2015年MICCAI腺体分割挑战基准数据集的广泛实验结果证实了我们方法的有效性，产生了更好的效果性能比其他先进的方法。
2 方法
在这一节中，我们将详细描述一下我们提出的深度轮廓感知网络准确的腺体分割。我们首先介绍完全卷积网络（FCN）进行端到端的培训。此外，我们建议利用辅助监督的多层次上下文特征来生成良好的腺体似然概率图。然后通过融合物体和轮廓的互补信息，从FCN中提取深度轮廓感知网络，进行有效的腺体分割。为了缓解挑战训练数据不足，我们采用转移学习利用从其他数据域学到的知识进一步提高性能的领域。
2.1 具有多级上下文特征 的FCN
全卷积网络实现了图像分割相关任务的最新性能[7，27]。这种巨大的成功主要归功于密集分类的特征表示能力。整个网络可以进行端到端的训练（图像到图像）的方式，它把图像作为输入和直接输出概率图。该架构基本上包含两个模块，包括下采样路径和上采样路径。下采样路径包含卷积和最大池化层，这些层广泛用于图像的卷积神经网络分类任务[8,25]。上采样路径包含卷积和去卷积层（向后跨步卷积[27]），其上采样特征图和输出分数概率掩码。这背后的动机是下采样路径旨在提取高级抽象化信息，而上采样路径以像素方式预测分数map。
FCN的分类评分是基于建立的在来自给定的感受野的强度信息上。然而，单一感受野尺寸的网络无法正确处理腺体形状的大变化。例如，如图1所示，一个小的接受场（例如，150×150）适用于良性病例的正常腺体，而恶性病例通常需要较大的感受野，由于腺癌的腺体形态发生退化和拉长，因此包含较大的上下文信息可以消除歧义，抑制内部管状结构，提高识别性能。因此，基于FCN，我们进一步推进通过利用包括不同级别的上下文信息的多级上下文特征表示，即强度出现在各种不同大小的感受野中。具有多级上下文特征表示的FCN的示意图可以在图2中看到。具体地，神经网络的架构包含一系列卷积层，5个用于下采样的最大池化层和3个用于上采样的反卷积层。同网络越来越深，感受野的大小越来越大。由此推导出上采样层是有意设计考虑的不同的感受野大小。从给定的接受领域，上采样的特征根据上下文提示进行映射和预测。然后这些预测融合在一起通过一个求和操作和基于多级上下文特征的最终分割结果在softmax之后生成。
直接训练一个如此深度的网络可能陷入局部的最低点。受以前的研究启发
用深度监督训练神经网络[26,39,5]，加权的辅助分类器C1-C3被加入到网络中以进一步加强训练过程，如图2所示。这可以缓解梯度消失的问题，辅助监督的梯度鼓励向后传播梯度流量。最后，FCN与从输入I提取的多级上下文特征可以
通过最小化总体损失L，即具有相应权重wa的辅助损失La(I;W)和在预测结果和真实标签之间的数据误差损失Le(I;W）:此时总的代价函数可以用1式来表达：
第一项表示为含有超参的正则化项，该项用来权衡和其他项之间的关系。
2.2 深度轮廓感知网络
通过利用多级上下文特征辅助监督，网络可以产生良好的腺体概率图。但是，仅仅依赖腺体对象的似然性在分离接触区域模糊的接触的腺体还是很难的。这是根源于下采样导致空间信息丢失和特征抽象。上皮形成的边界信息细胞核为分离提供了良好的互补线索。为此，我们提出了一个深度轮廓感知网络来分割腺体并分离成簇的单个对象。
所提出的深度轮廓感知网络的概述如图3。不是将腺体分割任务视为一个单独而独立的问题，而是将其作为一个多任务学习框架，通过探索可以补充的信息同时推断腺体和轮廓的结果。具体来说，特征图被上采样到两个不同的分支（绿色和蓝色箭头显示在该图）以输出分割掩码腺体和轮廓。在每个分支中，FCN预测掩码具有多层次的上下文特征，如2.1节所示。在训练过程中，下采样路径Ws的参数是共享的和共同完成这两项任务，两个独立分支（表示为Wo和Wc）的上采样层的参数被独立地更新以分别推断腺体对象和轮廓的概率。因此，通过特征表示分层结构可以同时对分割对象和轮廓的信息进行编码。注意一个多任务的网络在一起优化端到端的方式。这个联合的多任务学习过程有几个优点。首先，它可以增加中间特征表示的判别能力，从而提高分割的鲁棒性性能。其次，在腺体分割的应用中，多任务学习框架也可以提供相当好的互补轮廓信息分开聚集的对象。这可以显着改善目标层次的分割性能，特别是在良性组织学图像经常存在接触腺体的物体。在处理大型组织病理学数据时，这个统一的框架可以是相当有效的。有一个向前传播，它可以同时产生腺体物体和轮廓的结果，而不是通过附加后分离步骤在底层线索生成轮廓的20,38]。
在训练过程中，折扣权重从辅助分类器一直减少到边际值，随着迭代次数增加，所以我们在最后的损失中简单地降低这些项。最后，网络的训练被制定为每像素分类，具体公式如2所示：
式2中第一项为L2正则化项，第二项为腺体对象的损失，第三项为腺体轮廓的损失；最后为了产生分割的结果图，将腺体对象和轮廓信息以公式3的方式进行融合，从而产生最后的分割结果（后处理步骤主要为形态学闭运算填充空洞，分离小的簇）。
2.3 通过丰富的特征层次结构转移学习
我们用预训练初始化下采样路径中的层的权重基于DeepLab模型，而其余层以高斯分布随机初始化。然后我们微调整个网络在我们的医疗任务上以随机梯度下降的端到端的方式。
3 实验和结果
31.数据和预处理
训练数据集由85个图像（良性/恶性= 37/48）与标签组成，由专家病理学家提供的真实注释。测试数据包含两部分：轮廓评估的A部分（60幅图像）和部分B（20幅图像）的现场评估。为了提高鲁棒性和减少过拟合，我们采用了数据增加来放大训练数据集。增强转换包括翻译，旋转和弹性变形（例如，枕形和桶形失真）。
3.2完成细节
网络的输入为随机从原始图像裁剪一个480×480的区域作为输入并输出腺体和轮廓的预测掩模。 对于轮廓的标签，我们提取基于从病理学家的腺体注释的连接组件的边界，然后扩大他们使用尺寸为3的元素膨胀它们。
3.3 结果评估
分割的评估准则
边界形状的评估准则
分割的结果展示