CVPR2019超分领域出现多篇,更接近于真实世界原理的低分辨率和高分辨率图像对应的新思路。具体来说,以前论文训练数据主要使用的是人为的bicubic下采样得到的,网络倾向于学习bicubic下采样的逆过程,这与现实世界原理不太相符。为了得到重建结果吗,要么采用psnr-oriented方式获得更高的psnr,要么采用perceptual-oriented获得更好的主观效果。但这与现实世界image system并不吻合,有可能会造成deterioration.

《zoom to learn,learn to zoom》

提出用单反相机的不同焦距作为网络训练数据。

不用P30 Pro,普通手机也能变身望远镜:陈启峰团队新作,登上CVPR 2019

感觉可以让一个普通相机拍摄的图片变成华为P30PRO样片的感觉,先看一下具体的模型训练结果,可以看到远处梯子的条纹清晰可辨,仿佛添加了一个单反长焦镜头CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

最大的贡献体现在一下几点:

1.抛弃以前RGB->RGB,使用RAW->RGB训练方式(RAW数据更原始,干净)

ablation实验表明这种方式的优越性

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

2.给出了一个新的(短焦距-长焦距)的数据集SR-RAW。例如70mm焦距图像是2*条件下,35mm焦距图像的groundtruth

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

3.针对新数据集出现的对齐问题。借鉴contextual loss,提出CoBi一种新的主要针对非对齐数据的损失函数。

如图,新的数据集思路带来的对齐问题。Co损失函数只考虑了特征层面的距离而忽略了空间层面的,为此作者结合这两点,提出新的损失函数

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

                                       CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

新的损失函数带来的效果提升:

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

4.最棒的是算法可以迁移到手机上使用,用一个小的手机数据集迁移,获得了很好的效果。

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

最后实验证明这个算法比现有的state-the-art算法都要好。如果数据感觉不出什么的话,再贴两张比较惊艳的图

 

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

 

 

Camera lens super-resolution

原理:resolution(R)与field of view(V)分辨率与视野大小的矛盾关系,(其实也是不同的焦距)

智能手机则是镜头和景物之间的距离关系。文章主要探索了使用新数据集得的LR重建效果明显优于bicubic或者gaussian得到的LR重建效果。

 

zoom in 和zoom out是摄像技术用语。zoom in 指(照相机等)用变焦距镜头使景物放大,即将景物推近;zoom out刚好相反,表示用变焦距镜头使景物缩小,即将景物拉远。

视野变大(zoom out),则关注的object的分辨率降低,视野变小(zoom in)则分辨率提高。

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

长焦(单反),短距离(手机)获得的图像作为target。为此提出了一个新的数据集City100.主要是拍摄的贺卡上的景物建筑图片

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

同样的,作者提出了有明显的对齐问题1.spatial misalignment 2.intensity variation 3.color mismatching

对应的解决措施

spatial misalignment:SIFT key-points match,RANSAC to estimate homograph

intensity variation:average the pixel intensities in the whole image

color mismatching:color checkboard and polynomial parameter for calibration

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

后面文章通过实验数据和结果证实,通过BICUBIC、GAUSSIA(红色点处)得到的下采样的LR图片不如city100数据集。

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

使用到了两种代表性的网络,一种psnr导向的VDSR,一种perceptual导向的SRGAN进行了对比试验

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

最后证明了用在其他单反和手机上也能取得很好的效果。iphone X->huawei P20、三星S9。尼康->佳能

CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》CVPR2019超分辨率 《zoom to learn,learn to zoom》《Camera lens super resolution 》

相关文章:

  • 2021-11-06
  • 2021-09-25
  • 2021-05-27
  • 2022-12-23
  • 2021-11-05
  • 2021-10-27
  • 2022-12-23
  • 2021-12-22
猜你喜欢
  • 2021-12-13
  • 2021-08-10
  • 2022-01-11
  • 2021-04-11
  • 2022-12-23
  • 2021-11-14
相关资源
相似解决方案