医学图像分割的初步理解

• Time：2020/9/14

  医学图像分割的初步理解

  • 医学图像分割的初步理解
  • • 主题：Medical image segmentation; CNN ; FCN; U-Net; Deep Learning
    • **研究背景**
    • • 医学图像特征
      • 分割目标
    • **研究思路**
    • • **数据来源**
      • **不足和解决办法**
      • **基本概念**
      • **常用模型**
    • **总结**

医学图像分割的初步理解

• 文献：

  1、Medical Image Segmentation Based on Deep Learning: A Review

  2、基于深度学习的医学图像分割方法_游齐靖

  3、基于深度学习的医学图像分割研究进展_宫进昌

主题：Medical image segmentation; CNN ; FCN; U-Net; Deep Learning

研究背景

医学图像特征

1、医学图像的模态（格式）更加多样化，如CT、MRI以及超声

2、医学图像一般会含有很多噪声

3、医学图像的像素值范围与自然图像（0~255）有很大差别，如CT一般会上千

4、部分容积效应：不同组织器官边界部分灰度值非常接近

5、数据集有限，标注困难

分割目标

首先要明确分割要达到什么目的，是对病灶的提取还是器官的提取还是器官的分割

研究思路

数据来源

1. BraTs18-19 dataset，多模式脑瘤分割，只有训练集，无测试集；
2. KiTS19 dataset ，肾癌CT,训练和测试；
3. SegTHOR19 dataset，肺癌和食管CT；

不足和解决办法

1、数据少：数据扩充，旋转、平移、变形

2、标签需要医生：弱监督、无监督

基本概念

1、 Dice coefficient 定义不同样本的相似性；

2、Sensitivity and Specificity ，评估分割的真阳性(TP)和真阴性(TN)的比率，真阳性（TP）是预测到的目标区域像素与真实前景正样本吻合比值，阴性（TN）是预测到的背景与真实背景吻合比值。

3、Hausdorff distance ，描述了两组点之间的相似性。

常用模型

1、CNN：内存消耗大，效率低；每个像素取一个区域进行分分类，二分类问题

2、FCN ：反卷积层进行上采样，恢复图片大小，对每个像素进行分类

创新点：全卷积网络；转置卷积deconv（反卷积）；不同层特征图跳跃连接（相加）

缺点：没有考虑像素之间的关系，缺乏空间一致性

区别：FCN把在于CNN最后的全连接层换层卷积层，输出一张已经label好的图片

3、U-Net

创新点：下采样、上采样;U型结构；短接通道（skip-connection）

下采样：池化，进行特征提取和捕获上下文信息

上采样：反卷积层，预测像素标签

---

如果要高效的设计训练模型，还是要结合数据特点（如待分割对象的尺寸范围、2D还是3D等等）进行网络设计。

总结

1. 深入理解医学图像的格式和特点；

2. 设计合适的图像预处理操作，增强目标特征；

3. 将原始格式的数据处理为适合深度学习模型输入的格式

疑问：可否从数据入手去研究？比如说怎么扩充数据，或者自动标注图像（弱监督学习）