录播见链接:https://space.bilibili.com/269362804/


轻量化模型

MRI图像分割

医学图像小数据深度学习_夏勇教授
DSTS模块降低参数量
医学图像小数据深度学习_夏勇教授

Attention机制用于X光胸片/皮肤癌

Attention
1.特征更紧致
2.特征更准确
相关:CBAM等

x光胸片

医学图像小数据深度学习_夏勇教授
因为数据中有病灶的阳性数据较少,所以进行多类肿瘤分别时是一个弱监督问题。所以加入attention机制提取病灶位置:
医学图像小数据深度学习_夏勇教授
思路:病灶大小不一,期望通过Scale-attention来解决这一问题,同时也有其他的channel等attention。

结果展示:
医学图像小数据深度学习_夏勇教授

皮肤癌

认为分类模型能够学到attention但是比较靠后,所采用下图c的方法进行一个attention,不用新增参数。此模块称为ARL模块
医学图像小数据深度学习_夏勇教授
结果展示:
医学图像小数据深度学习_夏勇教授

多监督处理少样本问题

视网膜眼底血管分割

难点:血管粗细不一,样本量少
医学图像小数据深度学习_夏勇教授

网络结构:
医学图像小数据深度学习_夏勇教授
不同尺度上约束,来达到粗细血管都有用的效果。

磁共振图像做前列腺分割

网络结构:
医学图像小数据深度学习_夏勇教授
分析:三维部分基于区域分割,二维部分基于边界分割。用密集链接和mutil-scale

分割和校验

目的:既定的分割模型上提高风格校验结果

病理图像的分割

医学图像小数据深度学习_夏勇教授
医学图像小数据深度学习_夏勇教授
上图:predicted和ground之间的真实误差去预测误差。然后用预测误差去矫正预测。另外训练一个矫正模型。
存在问题:预测分割误差本身不容易,存在预测错误,使得矫正错误。
进一步改进方案:将预测误差作为分割的attention。
医学图像小数据深度学习_夏勇教授
上图:region by region的去验证矫正是否接受。
结果:
医学图像小数据深度学习_夏勇教授

用GAN生成合成数据

用于AD病人的数据扩充

解决问题:并不是所有病人都有成对的MRI和PET数据,用MRI生成对应的PET数据。
医学图像小数据深度学习_夏勇教授
模型:类似于cycleGAN
结果:效果好,成对的数据量上去了
存在问题:没见过的diseased pattern是学不到的(正常病人没有diseased pattern),生成图像会受训练数据的影响
解决方法:不同scale上的feature map去约束(MRI上有AD,PET上也应该有AD)
医学图像小数据深度学习_夏勇教授
关注生成网络生成的是数据还是数据源

半 / 弱 监督

肺结节联合型分类

医学图像小数据深度学习_夏勇教授
上图:用自编码网络x=f(x)学习特征(可以用unlabel的数据,用到对抗的思想,判别x与f(x)是否相等),之后再分类(只能用有label的数据)
注意:分类器的encoder一致,参数不共享,上下两个摸块特征结合,避免自编码网络提取的与背景相关的细节特征对分类的影响。

实验结果:
医学图像小数据深度学习_夏勇教授

分割和分类放入同一个框架

皮肤癌的分割和分类

希望二者相互辅助,将分割和分类放入一个框架

医学图像小数据深度学习_夏勇教授

上图:先进行粗分割,再分类,再细分割(attention map 共享),通过指示病灶在哪儿里来更好的分割。
结果:(有类别标签数据加进去能降低分割数据的需求)
医学图像小数据深度学习_夏勇教授

结语:
1.机器会模仿和放大人类的偏差。
2.CAD的泛化问题
3.医院之间的标注偏差问题
4.人的优势,直觉不需要计算,期望决策过程中人机双向耦合
5.对抗样本的安全问题,医疗数据安全和隐私保护问题
医学图像小数据深度学习_夏勇教授

相关文章:

  • 2021-07-24
  • 2021-11-16
  • 2022-12-23
  • 2021-07-04
  • 2021-05-19
  • 2022-01-17
  • 2021-10-13
  • 2021-07-26
猜你喜欢
  • 2021-12-23
  • 2021-07-31
  • 2021-07-31
  • 2021-04-30
  • 2021-11-05
  • 2021-08-20
  • 2021-05-20
相关资源
相似解决方案