什么是图像分割
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤
分割是像素级别的(在应用上非常的准求准确)
图像分割的应用
1.医疗分割(CT/MR)
2.自动驾驶
3.卫星定位物体
图像分割的发展
分类–分类加追踪–多分类加追踪–分割
图像分割的分类
普通分割:将不同分属不同物体的像素区域分开
语义分割:像素级别的分割,分类出每一块区域的语义(这块区域是什么物体)
实力分割:在语义分割的基础上,分类出该物体是属于某一类中的哪一种
图像分割的结构
反卷积:可以完全还原一个值(卷积核是定了的)
转置卷积:还原一个完全相同的形状,但是不能完全还原原图
网络是一种哑铃结构,前半段是一个编码结构,经过五次下采样,留下一些比较重要的信息,后半段是一个解码结构,也经过五次上采样将图像还原,然后用输出的图片和做好的标签进行一个BCE,学习一个分布。
下采样的方法:
1.大步长的卷积
2.池化(最大,平均,自适应)
最大池化:提取轮廓,一般用在提取重要信息
平均池化:提取背景,一般在网络最后进行输出时使用
上采样的方法:
1.转置卷积:需要学习,参数较大
2.像素插值:临近,双线性,线性
3.像素融合:通道信息平铺
图像分割的模型
FCN(全卷积模型)
问题:有池化,会丢掉一些信息。跳跃连接的concat数量不足
U-net
上采样用的是插值(临近插值)
下采样改进用的是卷积
U-net在医学上的应用:
医学图片一般都比较大,一般采用分块裁剪下来进行分割,然后在拼接起来
U-net++:
U-net++的deep supervision
u-net++有很多的损失,每一层都有一个loss的输出,四个损失相符促进。
深监督还有一种剪枝的作用,如果那一层的损失和最后的损失的值相差不大的话,就可以对后面的损失进行一个剪枝。
U²-NET
每一个U-net都进行拼接起来,即刚开始用较大的U-NET提取主要信息,往下用小的U-net提取背景信息,在拼接起来。
DeepLab
网络结构: