《Cancer Metastasis Detection With Neural Conditional Random Field》简介

论文地址：https://arxiv.org/pdf/1806.07064.pdf
代码地址：https://github.com/baidu-research/NCRF

目的

病理学家使用Whole-slide Images(WSIs)分析图中的正常细胞和瘤细胞，并定位病变位置。WSIs是一种超级大的图片（100000×$\times$200000像素）,人工分析会很慢，而且多个病理学家的分析结果只有75.3%的结果相同。这就需要计算机辅助系统来辅助分析。

已经有研究把深度卷积网络应用到癌细胞检测中。大多数研究首先把WSIs提取出小的块(patch)，然后使用这些小块训练深度CNN，接着得到在块水平的WSI是正常细胞还是瘤细胞的概率图，最后使用概率图进行癌细胞转移检测。但是块与块之间存在空间上的相关性。上述的方法把图片块单独地提取并训练，因此空间相关性没有被明确模拟，造成在相邻位置的图片块的预测结果不一致，块水平的概率图存在孤点。

神经条件随机场(NCRF)可以模拟图片块之间的空间相关性。

优点

Kong等人提出了Spatio-Net，Spatio-Net使用2D的LSTM层给予CNN分类器提取的图片块特征来获取空间相关性。但是Spatio-Net使用两个阶段，第一个阶段训练CNN，第二阶段RNN获取空间相关性并预测。因此CNN分类器并不知道相邻图片块的空间相关性。

NCRF是一个概率图模型，结合了神经网络和条件随机场1。作者把CRF直接放在CNN特征提取器上。每个图片块的边缘标签分布通过平均场近似推理算法得到。而且平均场近似推理算法也运行在GPU上，CRF组件使用较少的计算开销，可以使用更大的特征维度。整个深度网络可以端到端实现，CNN特征提取器与CRF结合起来，可以意识到相邻图片块的空间相关性。

与没有考虑图片块空间相关性的baseline方法相比，NCRF的优点有：
1. NCRF提高概率图的可视化质量，
2. NCRF改进CNN特征提取器，
3. NCRF改进癌细胞转移检测。

方法

下图表示NCRF的架构。它有两个主要组件：CNN和CRF。CNN组件作为一个特征提取器，拿一个网格的图片块作为输入，编码图片块成固定长度的向量，用embedding表示。CRF拿一个网格的embedding作为输入，模拟这些embedding的空间相关性。CRF组件的最后输出是每张图片块是正常细胞还是瘤细胞的边缘分布。

CNN的图片块embedding

CNN使用被证明在图片分类任务中有用的架构：RestNet-18和ResNet-34。在每个架构，作者使用平均池化层之后的**值作为图片块的embedding。embedding大小是512。

CRF空间模拟

定义一网格图片块embedding是x={xi}Ni=1$\mathbf{x}=\{x_i{\}}_{i=1}^N$，N是在网格中图片块的数量，比如在5×5$5\times 5$的网格中N=25$N=25$。标签Y={yi}Ni=1$\mathbf{Y}=\{y_i{\}}_{i=1}^N$，每个标签y∈{normal,tumor}$y\in \{\text{normal},\text{tumor}\}$。条件分布P(Y|x)$P(\mathbf{Y}|\mathbf{x})$可以被模拟为Gibbs分布的CRF

P(Y|x)=1Z(x)exp(−E(y,x))$$P(\mathbf{Y}|\mathbf{x})=\frac{1}{Z(\mathbf{x})}exp(-E(\mathbf{y},x))$$

E(y,x)$E(\mathbf{y},x)$是能量函数，用来衡量y的损失。Z(x)$Z(\mathbf{x})$是配分函数，确保P(Y|x)$P(\mathbf{Y}|\mathbf{x})$是一个合法的条件分布。在一个全连接的成对CRF中，能量函数是

E(y,x)=∑iψu(yi)+∑x<jψp(yi,yj)$$E(\mathbf{y},x)=\sum _i{\psi }_u(y_i)+\sum _{x<j}{\psi }_p(y_i,y_j)$$

其中i，j是1到N。ψu(yi)${\psi }_u(y_i)$是一元势函数，用来衡量yi$y_i$标记图片块i的损失，ψp(yi,yj)${\psi }_p(y_i,y_j)$是成对势函数，用来衡量i，j和yi$y_i$，yj$y_j$的损失。成对势函数ψp(yi,yj)${\psi }_p(y_i,y_j)$模拟相邻图片块的空间相关性，如果xi$x_i$，xj$x_j$相似，标签yi$y_i$，yj$y_j$相同，则ψp(yi,yj)${\psi }_p(y_i,y_j)$有小的损失。作者使用yi$y_i$标记图片块i的负log-likelihood来实现一元势函数ψu(yi)${\psi }_u(y_i)$，即在CNN分类器softmax层之前标签yi$y_i$的负的log值。作者使用权重cos距离作为成对势函数

ψp(yi,yj)=I(yi=yj)⋅wi,j(1−xi⋅xj∥xi∥∥xj∥)$${\psi }_p(y_i,y_j)=\mathbb{I}(y_i=y_j)\cdot w_{i,j}\left(1-\frac{x_i\cdot x_j}{\Vert x_i\Vert \Vert x_j\Vert }\right)$$

其中I(yi=yj)$\mathbb{I}(y_i=y_j)$是指示函数，判断yi$y_i$和yj$y_j$是否相等，wi,j$w_{i,j}$是训练权重，控制在网格中两个图片块i和j的相似度强度。

(下部分不懂>_<!!!)
为了训练可以使用反向传播算法的CNN-CRF端到端架构，需要获取每个图片块标签yi$y_i$的边缘分布，从而可以计算交叉熵损失。可是，确切的边缘推理是棘手的，作者使用平均场近似推理，原始的CRF分布P(Y)$P(\mathbf{Y})$近似一个更简单的分布Q(Y)$Q(\mathbf{Y})$，Q(Y)$Q(\mathbf{Y})$可以写成每个独立图片块i边缘分布的积，Q(Y)=ΠNiQi(yi)$Q(\mathbf{Y})={\mathrm{\Pi }}_i^N{Q}_i(y_i)$。通过最小化P(Y)$P(\mathbf{Y})$和Q(Y)$Q(\mathbf{Y})$的KL距离，KL(Q(Y)∥P(Y))$\mathbb{K}\mathbb{L}(Q(\mathbf{Y})\Vert P(\mathbf{Y}))$，作者得到每个边缘分布Qi(yi)$Q_i(y_i)$的更新步骤

logQi(yi)=E_Qi[logP^(Y)]+const$$log{Q}_i(y_i)=\mathbb{E}{\mathrm{\_}}_{Q_i}\left[log\hat{P}(\mathbf{Y})\right]+\text{const}$$

其中E_Qi[f(Y)]$\mathbb{E}{\mathrm{\_}}_{Q_i}\left[f(\mathbf{Y})\right]$表示除了yi$y_i$之外所有变量的f(Y)$f(\mathbf{Y})$的期望。P^(Y)=exp(−E(y,x))$\hat{P}(\mathbf{Y})=exp(-E(\mathbf{y},\mathbf{x}))$是非归一化的CRF分布。平均场推理算法如下

最后，在固定次数的平均场迭代之后，作者使用每个图片块标签的近似的边缘分布Qi(Yi)$Q_i(Y_i)$来计算交叉熵损失，使用反向传播算法来训练整个模型。

实验

作者使用baseline方法和NCRF方法进行对比。

NCRF获得平滑的概率图

下图是测试集中Test_026的预测概率图。

baseline方法增加了false positive的数量，而Hard negative mining降低了图中真实瘤细胞区域的密度，减低了模型的敏感度。NCRF with hard negative mining既能实现低false positive，又能维持高的图中真实瘤细胞区域的密度。

NCRF改进CCN特征提取器

下图展示在训练中baseline方法和NCRF的图片块分类精度，可以看出NCRF比baseline的精度更高。

下表展示在验证集中baseline方法和NCRF的图片块分类精度，NCRF在ResNet-18和ResNet-34架构中都比baseline的分类精度高。

成对势函数的训练权重展现了强的空间配对。下图是训练权重的可视化，根据3×3$3\times 3$网格的位置排列。

我们可以看到，对于网格中的一个空间块，它最近的邻居块有最大的权重，说明每个图片块标签分布与它们最近的邻居有强的相关性。

NCRF改进癌细胞转移检测

作者使用平均free-response receiver operating characteristic(FROC)分数评估NCRF在癌细胞转移检测的表现。平均FROC分数越高，表现效果越好。下图表示baseline和NCRF的FROC分数曲线。

下表表示baseline方法和NCRF的平均FROC分数。

可以看到，各种情况下，NCRF的FROC分数都比baseline方法的要高，说明NCRF比baseline方法表现出色。

---

1. CRF简单介绍：
   https://www.cnblogs.com/Chiachyi/p/7689597.html
   https://www.cnblogs.com/Determined22/p/6915730.html ↩