A. Deep and Efficient Network 首先，为了充分提取高水平的片内特征，我们基于二维卷积的预定义设计原则，设计了一个非常深入、高效的网络，称为2D DenseUNet，将紧密连接的路径[25]和UNet连接[5]的优点融合在一起。密集连通路径是由密集连通网络(DenseNet)衍生而来的，其中改进的信息流和参数效率降低了训练深度网络的难度。与DenseNet[25]不同，我们添加了UNet连接，即，在我们的体系结构中，编码部分和解码部分之间的远程跳过连接;因此，该网络可以实现低层次的空间特征保存，从而更好地进行片内上下文搜索。
B. Hybrid Feature Exploration 其次，为了研究体特征表示，我们设计了一个端到端训练系统H-DenseUNet，该系统通过混合特征融合(HFF)层有效地提取层内和层间特征，并进行联合优化。具体来说，3D DenseUNet是通过自动上下文[26]机制与2D DenseUNet集成的，这是堆叠共性[27]的一般形式。在二维DenseUNet语义概率的指导下，可以很好地减轻三维DenseUNet的优化负担，提高了三维上下文提取的训练效率。此外，在端到端系统中，由体积特征和高水平代表性的切片内特征组成的混合特征可以自动融合，共同优化，实现更好的肝脏和肿瘤识别。综上所述，本工作取得了以下成果:
我们设计了一个DenseUNet来有效地探测肝脏和肿瘤分割的分层片内特征，在预先定义的设计原则的基础上，将紧密连接的路径和UNet连接小心地整合在一起，提高肝脏肿瘤分割的性能。
我们提出一个H-DenseUNet框架来探索肝脏和肿瘤的混合(层内和层间)特征。该混合特征学习体系结构较好地解决了二维网络忽略体积上下文和三维网络计算量大的问题，为有效利用三维上下文提供了一种新的范例。
我们的方法在病灶分割上排名第一，在2017年LiTS排行榜上肝脏分割取得了非常有竞争力的成绩，在3DIRCADb数据集上也取得了最先进的结果。
II. RELATED WORK
A. Hand-Crafted Feature Based Methods
在过去的几十年里，人们提出了许多分割肝脏和肝脏肿瘤的算法，包括阈值化[28]、[29]、区域生长、基于可变形模型的[30]、[31]和基于机器学习的[32]-[36]方法。基于阈值的方法根据亮度值是否高于阈值对前景和背景进行分类。区域生长算法的变化在肝脏和病变的分割任务中也很受欢迎。例如，Wong等人采用基于知识约束的二维区域生长方法对[30]肿瘤进行分段。水平集方法也因其涉及曲线和曲面[37]的数值计算的优点而受到研究者的关注。例如jimenez - carbtero等人提出了一种结合自适应曲率技术的多分辨率三维水平集方法对肿瘤进行分类。基于机器学习的多种肝脏肿瘤分割方法也被提出。例如，Huang等人[32]提出使用基于随机特征子空间传感器的极限学习机(ELM)对肝脏病变进行分割。Vorontsov等人提出利用支持向量机(SVM)分类器对肿瘤进行分割，然后利用全向可变形曲面模型对结果进行细化。同样，Kuo等人[35]提出利用纹理特征向量学习SVM分类器进行肝脏肿瘤的分割。Le等人[34]采用快速行进算法生成初始区域，通过训练非迭代单隐层前馈网络(SLFN)对肿瘤进行分类。为了加快分割算法的速度，Chaieb等人采用bootstrap采样的方法对肝脏肿瘤进行高效分割
B. Deep Learning Based Methods
卷积神经网络(CNNs)在计算机视觉领域的许多目标识别问题中取得了巨大的成功。许多研究者顺应这一趋势，提出利用各种CNNs学习特征表示在肝脏和病变分割中的应用。例如Ben-Cohen等人[17]提出在CT检查中使用FCN进行肝分割和肝转移检测。Christ等人[15]、[39]提出了一种级联的FCN结构和密集的三维条件随机场(CRFs)来自动分割肝脏和肝脏病变。同时，Sun等人[16]设计了一种多通道FCN从CT图像中分割肝脏肿瘤，通过不同通道的特征融合生成概率图。最近，在2017年ISBI LiTS挑战书中，Han[40]提出了一种2.5D的24层FCN模型来分割肝脏肿瘤，其中残块作为重复构建块，设计了跨编码部分和解码部分的UNet连接。2.5D是利用二维卷积神经网络，从体积图像中输入相邻的切片。Vorontsov等人的[41]和Chlebus等人的[42]都在ISBI挑战赛中获得了第二名。Vorontsov等人的[41]也采用了resnet样的残块和UNet连接，共21个卷积层，与Han[40]提出的方法相比，该方法较浅，参数较少。Chlebus等人[42]在两个单独的模型中设计了一个28层的UNet架构，然后用随机森林分类器过滤肿瘤分割结果的假阳性。所有的top结果都没有使用3D FCNs，而是使用了不同网络深度的2D FCNs，显示了2D FCNs对于底层体分割问题的有效性。但是这些网络都是浅层的，忽略了三维上下文，限制了高层次的特征提取能力，限制了识别性能。
III. METHOD
图2显示了我们提出的肝脏和肿瘤分割方法的流程。我们采用了级联学习策略来减少总计算时间，这也被应用于许多识别任务[43][46]中。首先，训练一个简单的ResNet架构[40]来获得快速但粗略的肝脏分割。利用感兴趣区域(ROI)，我们提出的H-DenseUNet通过2D DenseUNet f2d和3D对应的f3d有效地探测切片内和切片间的特征，然后联合优化混合特征融合(HFF)层中的混合特征，实现肝脏和病变的精确分割。
IV. EXPERIMENTS AND RESULTS
A. Dataset and Pre-Processing 我们在miccai 2017 LiTS Challenge竞争数据集和3DIRCADb数据集上测试了我们的方法。LiTS数据集包含131个和70个增强对比的三维腹部CT扫描，分别用于训练和测试。数据集是通过不同的扫描仪和协议从六个不同的临床站点获得的，平面分辨率从0.55 mm到1.0 mm有很大的差异，切片间距从0.45 mm到6.0 mm。3DIRCADb数据集包含20个静脉期增强CT扫描，其中15个体积的肝脏肿瘤。对于图像预处理，我们将所有扫描的图像强度值截断到[- 200,250]HU范围内，去除不相关的细节。对于第一阶段的粗肝分割，我们从同样分辨率为0.69 0.69 1.0 mm3的重采样图像中训练出一个简单的网络。在实验阶段，我们也使用重采样图像进行粗肝分割。对于第二阶段的病灶分割，对原始分辨率的图像进行网络训练。这是因为在一些训练案例中，肝脏病变非常小，因此我们使用原始分辨率的图像来避免图像重采样时可能出现的伪影。在这个测试阶段，我们也使用原始分辨率的图像来精确地分割肝脏和病变。
B. Evaluation Metrics
根据2017年LiTS挑战赛的评估结果，我们分别使用了病例积分Dice和全局积分Dice来评估肝脏和肿瘤的分割性能。骰子每箱得分是指每卷平均骰子得分，而骰子全局得分是通过将所有数据集合并为一个来评估的骰子得分。采用均方根误差(RMSE)来测量肿瘤负荷。在3DIRCADb数据集中，使用5个指标来衡量分割结果的准确性，包括体积重叠误差(VOE)、相对体积差(RVD)、平均对称表面距离(ASD)、均方根对称表面距离(RMSD)和骰子。对于前四个评价指标，值越小，分割结果越好。骰子的值指的是在LiTS数据集中每一种情况下骰子的相同测
C. Implementation Details
在本节中，我们将详细介绍实现环境和数据增强策略。**模型采用Keras包[47]实现。初始学习率为0.01，根据公式lr = lr (1 i terations/total_i terations)0.9衰减。我们用动量随机梯度下降法。在数据扩充方面，我们对所有训练数据采用随机镜像和0.8 - 1.2之间的缩放来缓解过拟合问题。**使用两个拥有12gb内存的NVIDIA Titan Xp gpu对2D DenseUNet模型进行了大约21小时的培训，而端到端系统的微调大约需要9小时。换句话说，H-DenseUNet的总训练时间约为30小时。在测试阶段，一个受试者的总处理时间取决于切片的数量，从30秒到200秒不等。
D. Ablation Analysis of H-DenseUNet on LiTS Dataset
在本节中，我们进行了全面的实验来分析我们提出的H-DenseUNet的有效性。图3显示了带和不带预训练模型的2D DenseUNet、带预训练模型的2D DenseNet、不带预训练模型的3D DenseUNet以及H-DenseUNet的训练损失。请注意，3D DenseUNet的成本约为60小时，几乎是2D网络的3倍。H-DenseUNet花费近30小时，其中21小时用于2D DenseUNet培训，9小时用于端到端方式微调整个架构。值得一提的是，所有的模型都运行在NVIDIA泰坦Xp gpu与全内存。
1)预训练模型的有效性:该方法的一个优点是，我们可以通过与预训练模型的转移学习来训练网络，这对于找到网络的最优解至关重要。在此，我们分析了具有和不具有预训练模型的二维DenseUNet的学习行为。两个实验都在相同的实验设置下进行。从图3中可以明显看出，采用**预训练模型后，二维DenseUNet收敛速度更快，损失值更小，说明了利用预训练模型进行转移学习的重要性。**表二的测试结果表明，预训练模型能够帮助网络始终取得更好的性能。我们提出的H-DenseUNet继承了这一优势，对实现预期的结果起到了重要作用。
E. Comparison With Other Methods on LiTS Dataset
2017年ISBI和MICCAI LiTS的挑战提交了50多份。这两个挑战都使用了相同的培训和测试数据集来进行公平的性能比较。与ISBI挑战不同的是，在MICCAI挑战中增加了更多的评价指标，用于全面比较。排名前15位的团队，包括ISBI和MICCAI挑战的1个团队的详细结果列在表3中。我们的方法(团队名称:xjqi，入组日期:2017年11月17日)在肿瘤的分割结果上优于其他先进技术，在肝脏分割方面取得了非常有竞争力的表现。在肿瘤负荷评价方面，我们的方法取得了最低的估计误差，在所有团队中排名第一。值得一提的是，*?我们使用了测试数据集中的10个条目来对我们的方法进行烧蚀分析。由于挑战赛主办方没有提供验证集，所以在测试数据集上进行烧蚀实验，进行公平比较。?*请注意，最终结果只是这些条目中的一个，而不是多个条目的平均值。大多数顶尖团队在挑战中采用了基于深度学习的方法，证明了基于CNN的方法在医学图像分析中的有效性。例如Han [40] Vorontsov等人的[41]和Bi等人的[49]都采用了2D deep FCNs，其中resnet样残块作为构建块。此外，Chlebus等人[42]在两个单独的模型中训练了UNet体系结构，然后是一个随机森林分类器。相比之下，我们使用167层网络的方法始终优于这些方法，这突出了使用预训练模型的2D DenseUNet的有效性。我们提出的H-DenseUNet进一步提高了肝脏和肿瘤的分割精度，显示了混合特征学习过程的有效性。我们的方法在病灶分割方面在所有的技术中取得了第一名的成绩，在肝脏分割方面与DeepX[48]相比具有很强的竞争力。值得注意的是，我们的方法在每例病变评估的骰子点数上都大大超过DeepX，这被认为是非常具有挑战性和困难的。此外，我们的结果是单一模型得出的，而DeepX[48]采用多模型组合策略来提高结果，表明我们的方法在临床实践中是有效的。
F. Comparison With Other Methods on 3DIRCADb Dataset
为了验证我们的方法的有效性和鲁棒性，我们还在公开的3DIRCADb数据集[56]上进行了实验，该数据集提供了更高的肝脏和病变的多样性和复杂性。表IV和表V显示了3DIRCADb数据集上肿瘤和肝脏分割性能的比较。我们通过交叉验证运行实验，将我们的方法与3DIRCADb数据集上最先进的[39]方法进行了比较，就像[39]中使用的方法一样。我们可以看到，我们的方法在病灶和肝脏分割准确率上都优于[39]，在DICE上分别提高了9.0%和0.4%。为了进一步验证我们的方法的有效性，我们分别用Unet[42]和ResNet architecture[40]的方法进行了实验，其中训练设置与Christ等人的[39]相同。从表IV和表V可以看出，我们的方法在3DIRCADb数据集上仍然优于Unet[42]和ResNet[40]，对DICE进行肿瘤分割的效果分别提高了14.0%和5.0%。实验对比验证了该方法与其他方法相比的优越性。为了与肝脏肿瘤的分割方法进行全面的比较，我们将3DIRCADb数据集中报道的肿瘤和肝脏分割结果分别列在表IV和表V粗体线下方。注意，除实验[40]和[42]外，其他实验结果均为原始文献报道值。值得注意的是，大多数肝脏肿瘤的分割方法[16]、[19]、[52][55]都是利用额外的数据集进行训练，并在3DIRCADb数据集上进行测试。如Li et al. [52]， Sun et al. [16]， Lu et al.[19]等人从医院采集了额外的临床数据作为训练集，Moghbel et al.[53]等人使用了额外的MIDAS数据集，Li et al.[54]等人在训练中使用了SLIVER07数据集。此外，Foruzan、Chen[50]、Wu等人利用半自动方法对肿瘤进行分割，取得了良好的效果。实际上，由于训练数据集的不同，以及是否是全自动的，这些方法无法直接进行比较。然而，在一定程度上，3DIRCADb数据集上的报告结果可以反映病变和肝脏分割任务的最新性能。在这里，我们使用LiTS数据集作为附加数据集。具体来说，我们直接在3DIRCADb数据集上测试了来自2017年LiTS数据集的训练有素的模型。如表4和表V所示，我们的方法在3DIRCADb数据集上取得了最好的肿瘤和肝脏分割结果，在很大程度上超过了目前的水平，肿瘤和肝脏分割的DICE分别提高了10.7%和7.1%。实验结果表明了该方法的有效性和良好的泛化能力。另一方面，如此好的结果也归功于LiTS数据集，它包含了大量变化较大的训练数据，以及我们的方法从该数据集中提取判别特征的能力。图6显示了3DIRCADb数据集上的一些结果示例。很明显，我们的方法可以很好地分割肝脏和肝脏病变从挑战性的原始CT扫描。
V. DISCUSSION
肝肿瘤的自动分割在临床诊断中占有重要地位。它提供了肝脏的精确轮廓和肝脏解剖部分内的任何肿瘤，这有助于医生的诊断过程。本文提出了一种基于端到端的训练系统来探索肝脏病变自动分割的混合特征，在自动上下文机制下有效地探测三维上下文。通过层内和层间特征的混合融合学习，提高了肝脏病变的分割性能，证明了H-DenseUNet的有效性。此外，与其他三维网络[10]、[18]相比，我们的方法能够有效地探测三维上下文。这在临床实践中是至关重要的，尤其是当大量的三维图像，包含大量的图像尺寸和大量的切片，越来越多地积累在临床站点。为了在临床实践中证明我们的方法的推广能力，我们在3DIRCADb数据集上对LiTS数据集训练的模型进行了测试，得到了最新的肝脏和肿瘤分割结果，DICE上的结果分别为98.2%和93.7%。在3DIRACDb数据集上取得的良好效果也验证了我们的方法不是简单的过度训练，而是在不同的数据采集条件下对不同的数据集进行有效的推广。为了更好地了解性能的提高，我们分析了我们的方法对每个患者肝肿瘤大小的有效性。图7显示了我们验证数据集中40个CT体积数据的肿瘤大小值，其中肿瘤大小是通过对每个ground-truth图像中的肿瘤体素求和得到的
观察到该数据集具有较大的肿瘤大小变化。为了便于比较，我们将数据集按图7中的橙色线分为大肿瘤组和小肿瘤组。从表六可以看出，我们的方法在整个验证数据集中提高了1.48 (Dice:%)的分割精度。我们还可以观察到，大肿瘤组的准确率提高了2.35 (Dice:%)，而小肿瘤组的准确率略高，为1.1 (Dice:%)。通过对比，我们认为性能的提高主要归功于对大肿瘤数据分割结果的改进。这主要是因为H-DenseUNet模拟了放射科医生的诊断过程，通过观察几个相邻的切片来描绘肿瘤，特别是对于边界模糊的肿瘤。一旦模糊边界得到很好的分割**，对大肿瘤数据的分割精度可以大幅度提高。虽然混合特征仍然有助于小肿瘤的分割，但由于小肿瘤通常发生在更少的切片中，这种改进是有限的**。今后，我们将重点研究肝小肿瘤的分割。在处理小肝癌问题时，我们将考虑几个可能的方向，即、多尺度表征结构[57]和深度监管[18]。最近，感知生成对抗网络(GANs)被提出用于小目标检测和分类。例如，Li等人通过发现小尺度和大尺度对象之间的内在结构关联，生成了小对象的超分辨表示，这也可能是处理这一具有挑战性问题的一个潜在方向。未来研究的另一个关键是H-DenseUNet的潜在深度。在我们的实验中，我们使用数据并行训练对网络进行训练，这是一种有效的加速梯度下降的技术，通过并行计算一个小批处理单元的梯度。然而，模型的复杂度受到GPU内存的限制。在未来，为了挖掘H-DenseUNet的潜在深度，我们可以使用模型并行训练对网络进行训练，其中模型计算的不同部分在分布式计算基础设施上对同一批示例执行。这一策略可能是进一步提高肝脏肿瘤分割性能的另一个可能的方向。
VI. CONCLUSION
我们提出了一种从CT体积中分割肝脏和肿瘤的端到端训练系统H-DenseUNet，这是一种新的模式，可以有效地探测高层次代表性的层内和层间特征，然后通过混合特征融合层对特征进行优化。该体系结构很好地解决了二维卷积忽略体积上下文和三维卷积计算量大的问题。在2017年LiTS和3DIRCADb数据集上的大量实验证明了我们提出的H-DenseUNet的优越性。在单模型的基础上，我们的方法在病灶分割上有较大的优势，在LiTS排行榜上肝脏分割取得了非常有竞争力的结果。