这篇论文和我看的上一篇看的关于胃癌的论文有所不同,最大的不同是他用了一种新的网络模型----AlexNet与GoogLeNet相融合的模型。
概述本文将深度学习的方法应用于胃癌病理切片的识别中,经过大量的研究之后,以GoogLeNet 和 AlexNet 两种深度学习网络模型 为基础实现对胃癌的自动诊断。针对胃癌病理图像的特点,对两种模型中时间效率相对较低的GoogLeNet模型进行了优化,然后将两种模型相融合,综合两种不同的网络模型提取到的不同特征,来提高胃癌诊断的准确率。
1.AlexNet与GoogLeNet 模型
AlexNet模型的输入为2272273 ,本文使用的病理图像为三通道的 RGB 图像,维度恰好符合模型的要求。将病理图像调整为2272273 大小后送入网络。
GoogLeNet 认为解决此问题的方法是采用稀疏连接操作 它吸收了NIN的思想,设计了一种称为 Iception的模块化网络结构,将稀疏矩阵聚类成为比较密集的子矩阵,极大地降低了参数量,提高了计算效率。Inception的基本结构如图4所示
Iception是一种稀疏性的结构,它采用了3种不同大小的卷积核学习图像的特征。由于采用了不同大小的卷积核, Iception 既能够捕捉到小范围内的相关性单元的特征,也能捕捉到距离较远的相关性特征。同时,由于较大的卷积核会带来参数量增加的问题, Iception 在卷积层前增加了 1*1 的卷积核对数据进行降维,从而提高了计算效率。
GoogLeNet 模型中使用了 9 个 Iception 模块,其结构如图 5 所示。随着网络层数的增加,图片的视野将会增大,因此在更深的网络层次上,模型增加了卷积核的个数以更有效地把握 图 像 特 征。 在 卷 积 操 作 完 成 后 执 行 全 连 接 操 作,GoogLeNet 的全连接操作采用与 AlexNet相似的结构,最后使用Softmax分类器进行分类,得到最终的分类结果。
2.数据集和预处理
本文使用的胃癌病理图像来自于 2017 中国大数据人工智能创新创业大赛,该病理图
像数据采用的是已经非常成熟的 HE 制片技术,放大倍数为20倍,图像为 RGB三通道位图图片,并经过了标准化处理。样本分为有癌症和无癌症两类,每张癌症样本图像对应一张label图片,标注出了图像上典型的癌症区域,但并非全部癌症区域。胃癌病理图像和对应癌巢区域的label图像如图6所示
在数据的预处理中,考虑到癌症样本的 label 并没有包括样本中的全部癌症区域,因此首先将癌症图像与对应的 label文件进行了叠加处理,筛选出了病理图像上的癌巢部分,以排除未标注区域可能产生的干扰,处理后的病理图像如图 7所示。
将一张病理图像按照128*128 像素的尺寸分割成了更小的图像,并按照一定的癌症区域占比对子图像进行了筛选为了保证数据对于模型训练的有效性,实验中取癌巢区域占
比在 50% 以上的图像作为有效数据。实验通过这个方法大大增加了样本的容量,有效地解决了数据量不足的问题。分割的子图像如图 8 所示
3.GoogLeNet模型优化
由于网络层级较深,模型在提取到更深层次特征的同时,感受野的扩大反而会带来特
征消失的问题,从而对识别精度造成影响。因此,针对实验所使用的病理图像的特点,对 GoogLeNet的结构进行了优化.
GoogLeNet是一个模块化的深度学习网络,它的每个 Iception 模块具有相同的结构。从 GoogLeNet的训练表现来看,网络在第6个 Iception 后产生的中间结果与最后结果的准确率几乎相同。针对这一现象,实验以 Iception 为单位对网络结构进行优化。经过多次实验,最终确定网络在第 7 个 Iception 后的输出便达到了最优水平。因此,实验保留了
GoogLeNet 的前 7 个 Iception 结构,而在第 7 个 Iception 模块后直接使用 FCN 对特征图进行分类输出。
4.AlexNet与GoogLeNet的模型融合
,实验提出将 AlexNet与 GoogLeNet两者相融合,综合两者所提取到的不同理特征,以求在对胃癌病理图像的诊断中取得更好的效果本实验对不同的模型采用加权的方法,通过多次实验寻找不同模型的最优权重,使融合的网络模型达到最好的诊效果。使用的加权公式如下:
AlexNe 网络有 8 层结构,优化后的 GoogLeNet 网络有18层结构,两种网络结构之间的主要差异在于卷积层的操作。实验将两种网络结合的重点放在卷积层的融合使用上。融合的模型使用同一个训练集进行训练,因此需要对输入和输出进行标准化处理。实验通过对AlexNet 网络的卷积核的大小进行调整来修改其输入输出标准,将网络的输入统一为2242243的三通道图像,卷积层的特征图输出统一为7*7*7大小。数据分别经过AlexNe和 GoogLeNet的卷积层得到两种不同的特征图像,将得到的两种不同特征图按照不同的权值进行分配,通过尝试不同的权值,使网络达到最好的诊断效果。该网络算法的结构如图9所示
经过多次实验发现,将两种不同的网络融合后,对胃癌病理图像诊断的准确率得到了较为明显的提高。当 w1与w2之比为 1∶3 时,融合的网络模型取得了最佳的诊断结果,证明实验对 NIN 应用的深度进行拓展的思想是有效的。
实验通过30 次迭代训练得到最终的模型.对于实验提出的融合模型,由图10可以看
到,其在训练后期已经收敛到了稳定值,对分割处理后的病理切片诊断具有极高的精度。
4.实验结果与分析
因此,实验一共设置了 AlexNe模型、优化的 GoogLeNet模型和融合网络模型3组神经网络模型。通过多次实验找到模型融合的最优点后,对比3种模型在训练过程中的表现,最后通过测试数据验证模型的泛化能力,对实验结果进行分析和总结。
本文针对胃癌病理图像的特点,首先对 GoogLeNet 模型的结构进行了优
化,优化后的 GoogLeNet 显著降低了计算成本。进一步将GoogLeNet 和 AlexNe 模型进行融合,综合两种不同结构的模型学习到的不同特征,形成了一种融合的网络模型。改进
后的模型同时具有两种网络结构的特点,且更加针对胃癌病理切片,提高了胃癌病理切片识别的灵敏度,因此对胃癌的诊断具有积极的意义。可以看到,模型取得了很高的诊断准确率,其灵敏度达到了 97.60% ,特异度更是达到了99.49% 。