Semantic Image Synthesis with Spatially-Adaptive Normalization（CVPR19）

3. Semantic Image Synthesis

定义$\mathbf{m}\in\mathbb{L}^{H\times W}$m∈LH×W为semantic segmentation mask，其中$\mathbb{L}$L是一系列整数用于指定semantic label

Spatially-adaptive denormalization

定义$\mathbf{h}^i\in\mathbb{R}^{N\times C^i\times H^i\times W^i}$hi∈RN×Ci×Hi×Wi为CNN的第$i$i层的包含$N$N个样本的feature map

本文提出一种新的conditional normalization方法，称为SPatially-Adaptive (DE)normalization（SPADE），如Figure 2所示

在SPADE输出的feature map中，下标为$\left ( n\in N, c\in C^i, y\in H^i, x\in W^i \right )$(n∈N,c∈Ci,y∈Hi,x∈Wi)的值的计算方式如下
$\gamma_{c,y,x}^i(\mathbf{m})\frac{h_{n,c,y,x}^i-\mu_c^i}{\sigma_c^i}+\beta_{c,y,x}^i(\mathbf{m}) \qquad(1)$γc,y,xi​(m)σci​hn,c,y,xi​−μci​​+βc,y,xi​(m)(1)
以上公式中，$\frac{h_{n,c,y,x}^i-\mu_c^i}{\sigma_c^i}$σci​hn,c,y,xi​−μci​​首先将输入feature map按照channel维度归一化为零均值单位方差，然后将$\mathbf{m}$m送入simple two-layer convolutional network，来学习用于denormalization的modulation parameter，即$\gamma_{c,y,x}^i(\mathbf{m})$γc,y,xi​(m)和$\beta_{c,y,x}^i(\mathbf{m})$βc,y,xi​(m)

SPADE可以看作已有normalization方法的通用的版本

SPADE generator

因为SPADE接收$\mathbf{m}$m作为输入，于是对于生成器的输入层就不需要输入$\mathbf{m}$m了

和已有的class-conditional generator结构类似，生成器的输入只包含一个random vector

Figure 4展示了生成器的结构，其中利用SPADE layer构造了SPADE ResBlock

【总结】
本文的创新点在于提出了一种新的normalization方法，SPADE，具备更加通用的性质，已有的normalization方法都可以看走它的特例，通过SPADE的通用型，可以自适应地学习denormalization的参数，从而生成质量更好的图像