Generative adversarial networks to segment skin lesions

简介

这是一篇用GAN进行皮肤病变图的分割论文，由于皮肤病变图具有很大的可变性，因此给分割带来挑战，这里提出的方法包括两个models:一个合成精确的皮肤病变分割mask的全卷积网络，和一个区分合成的和真实的分割mask的全卷积网络。在我们的工作中，给出了一个训练集，generator/segmentor尝试输出与ground truth匹配的合成图，同时discriminator/critic用来区分合成图和ground truth.

方法

我们的目标是从边缘分割skin lesions,在外观多样性上有独立性，并且没有手工的干预，我们将这里问题看作一个二值密度标记任务：给一个皮肤镜图片，我们旨在预测每一个像素点是’lesions’还是’background’。给一个现有的全卷积分割模型，即合成概率分割mask的segmentor，我们提出设计和清空一个带有单个输出点的DCNN，即critic，用来区别合成分割mask和真实的ground truth。

1 segmentor

这里我们用UNet作为segmentor，用Irgb∈I$I_{rgb}\in \mathbf{\text{I}}$表示输入图像，用τ∈T$\tau \in T$表示ground truth mask,M∈M$M\in \mathbf{\text{M}}$表示合成分割mask,分割mask中每一个像素点i$i$ M={mi,i=1,,,,,N}$M=\{m_i,i=1,,,,,N\}$取值范围为L=[0,1]$L=[0,1]$,并且每一个像素点τ={ti,i=1,,,N}$\tau =\{t_i,i=1,,,N\}$取值范围为{0,1}，给出输入图像Irgb$I_{rgb}$和学习参数θs${\theta }_s$,则标签分配M$M$的条件概率为：

p(m|Irgb:θs)=σ(ψθs(Irgb))$$p(m|I_{rgb}:{\theta }_s)=\sigma ({\psi }_{{\theta }_s}(I_{rgb}))$$

这里σ(⋅)$\sigma (\cdot )$是用在分割网络输出层ψθs(⋅)${\psi }_{{\theta }_s}(\cdot )$的**函数sigmoid,我们使用二值交叉熵损失函数：

Lθs=−1N∑i=1N[tilog(mi)+(1−ti)log(1−mi)]$$L_{{\theta }_s}=-\frac{1}{N}\sum _{i=1}^N[t_{i}log(m_i)+(1-t_i)log(1-m_i)]$$

ti$t_i$和mi$m_i$分表表示预测的和真实标签的像素点。

2 critic

我们扩展一个DCNN作为判别网络，其接受一个皮肤镜图片和或者一个合成图或者一个真实的病变分割mask作为输入，并尝试区分这两个。特别的，合成图或者真实的病变分割图被连接到RGB通道中，并被分配为1（指真实的图）或者0（指合成图），新的4通道图输入给critic，最后一个单输出点预测真实的二值标签，critic网络包括6个3x3卷积层，3个最大池化层和3个线性层，并且都使用ReLu**函数，除了最后一层使用sigmoid函数，每一个卷积操作后面都使用了batch normalization.

综上所述，让Irgb∈I$I_{rgb}\in \mathbf{\text{I}}$作为输入图并且S∈{M,τ}$S\in \{M,\tau \}$是合成图和真实分割mask，在输入连接的(Irgb,S)$(I_{rgb},S)$后，将得到一个标签值L={0,1}$L=\{0,1\}$,一旦输入，label分配y的条件概率为：

p(y|Irgb,S;θc)=σ(ψθc(Irgb,S))$$p(y|I_{rgb},S;{\theta }_c)=\sigma ({\psi }_{{\theta }_c}(I_{rgb},S))$$

θc${\theta }_c$表示critic网络的参数，并且ψθc${\psi }_{{\theta }_c}$代表critic网络的输出，跟分割网络相似，这里我们使用二值交叉熵作为损失训练critic网络，定义为Lθc$L_{{\theta }_c}$。

3 训练

critic网络的误差会反响传播给segmentor进行训练。因此，更新segmentor的最终损失函数为：

Lfinal=Lθs+λLθc$$L_{final}=L_{{\theta }_s}+\lambda L_{{\theta }_c}$$

这里的λ=0.2$\lambda =0.2$是用来平衡critic网络误差的系数。