快速风格迁移

风格迁移是CV的一个应用，通过融合风格图片和内容图片，实现图片的风格变换，“人人都是艺术家”
最早在论文《A Neural Algorithm of Artistic Style》中提出，但是这种方法是用“训练”的思想来做风格迁移，每次都要单独训练，速度很慢
快速风格迁移由《Perceptual Losses for Real-Time Style Transfer Super-Resolution》提出，主要是将风格迁移的训练和应用分离，可以快速应用

如https://github.com/hzy46/fast-neural-style-tensorflow 分享了几个案例
快速风格迁移
以及论文里给的例子

下面说具体原理
1. 图片的风格迁移问题，是给定原始图片和风格图片，得到转换了风格的图片的过程
2. 则原始图片表示了内容Content(C)；风格图表示了风格Style(S)；转换了风格的图片表示生成的图片
快速风格迁移
3. 那么生成目标图片的损失函数就是内容损失和风格损失的加权和

J (G) = α J_{c o n t e n t} (C, G) + β J_{s t y l e} (S, G)

4. 注意到现有的CV模型如VGG16，各个卷积层本质上已经是对图片进行了特征提取，且高阶的层包含了内容信息，低阶的层包含了纹理的信息，各个特种层之间的相关关系表达了风格信息
5. 内容信息用两个图在某一层的取值差来表示

l_{f e a t}^{ϕ, j} (\hat{y}, y) = \frac{1}{C_{j} H_{j} W_{j}} ‖ ϕ_{j} (\hat{y}) - ϕ_{j} (y) ‖_{2}^{2}

ϕ

表示预训练模型如VGG16；

j

表示第j个卷积层；

ϕ_{j} (x)

表示图x在模型

ϕ

的第j层的**值；

\hat{y}

表示生成图G；

y

表示原始图C；

C_{j} H_{j} W_{j}

表示特征图的尺寸，分别为通道数、高、宽
6. 风格信息用两个图在某一层的值得Gram矩阵的差值来表示，总的风格信息应有选定的多个层求和得到

l_{s t y l e}^{ϕ, j} (\hat{y}, y) = ‖ G_{j}^{ϕ} (\hat{y}) - G_{j}^{ϕ} (y) ‖_{F}^{2}

F

表示Frobenius norm，F-范数，一种矩阵范数

G_{j}^{ϕ} (x)

表示图x在模型

ϕ

的第j层的**值的Gram矩阵
7. 风格信息包含了颜色、纹理、模式等样式，并期望融合这些样式来表达风格，Gram矩阵最终尺寸为c*c

G_{j}^{ϕ} (x)_{c, c^{'}} = \frac{1}{C_{j} H_{j} W_{j}} \sum_{h = 1}^{H_{j}} \sum_{w = 1}^{W_{j}} ϕ_{j} (x)_{h, w, c} ϕ_{j} (x)_{h, w, c^{'}}

G_{j}^{ϕ} (x)_{c, c^{'}}

表示特征图中

c, c^{'}

两个通道间的Gram矩阵/相关性

ϕ_{j} (x)_{h, w, c}

表示图x在模

ϕ

中第j层的**值(特征图)的高、宽、通道坐标为h，w，c位置的值
大意为卷积提取了某一方面的特征，如纹理层、颜色层等，通过上式融合不同的特征，两种特征共现越频繁相关性越大、数值越大，以此来表示一个图的风格信息。
8. 最后回到论文的流程图，整体结构生成网络和损失网络组成，前者是要训练的目标，用于风格转移图片；后者用于计算损失；训练王成后，对于同一种风格，可以随意更换内容图片进行风格转移(暂时的理解)

x

表示输入的图片，这里和

y_{c}

一致

f_{W}

表示生成网络，权重参数为

W

y_{s}

表示风格图片

\hat{y}

表示风格迁移后的图片

y_{c}

表示原始的内容图片，与

x

一致

则此图表示，取其中四个层的结果计算风格，取高阶一个层的结果计算内容。

实践https://zhuanlan.zhihu.com/p/24383274
https://blog.csdn.net/j2IaYU7Y/article/details/79622135
https://blog.csdn.net/u010900574/article/details/53427544