前面我们介绍了基于卷积神经网络的图像风格迁移,利用一张content image 和 style image,可以让最终的图像既保留content image的基本结构,又能显示一定的style image的风格,今天我们介绍另外一篇类似的文章: Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis,这篇文章与之前的 Image Style Transfer Using Convolutional Neural Networks 的区别在于引入了 Markov Random Fields, 不再是像素的一一对应了,利用MRF,可以将feature maps 分成很多的patch,找 patch之间的匹配。

给定一张content image , 将 style image的风格迁移到 content image 的 layout,并且利用 MRF 使得合成图像的 local patchs 与 style image 的类似,我们可以建立如下的能量函数:

我们需要求解上面的优化函数得到最优的

是一个正则化选项,用来平滑最终的合成图像。接下来,我们可以看看每一个 loss function 的具体表达式:

这里 最匹配的一个 patch,即

简单来说,就是将feature maps 的集合 计算的不是 pixel 之间的平方差,而是 patch 与 patch 之间的平方差,所有比起之前的图像合成算法,这个方法利用了MRF, 去寻找patch 与 patch 之间的关系,这样可以更好的保留局部的信息,但是算法也变得更加复杂。

content loss function 和之前的一样,计算feature maps 之间的欧氏距离:

正则化选项的表达式如下:

这个相当于在水平方向和垂直方向做差值。

将这三项结合起来,利用BP算法,求最终的合成图像 .

相关文章:

  • 2021-09-27
  • 2021-09-29
  • 2021-12-06
  • 2021-06-17
  • 2022-12-23
  • 2021-11-22
  • 2021-11-10
  • 2021-12-13
猜你喜欢
  • 2021-09-18
  • 2021-09-18
  • 2021-11-01
  • 2021-11-19
  • 2021-09-25
  • 2021-05-04
  • 2022-12-23
相关资源
相似解决方案