文章地址: Joint High Dynamic Range Imaging and Super-Resolution from a Single Image
摘要:
本文提出了一种新的框架，用于基于卷积神经网络（CNN）同时增强图像的分辨率和动态范围，即同时超分辨率（SR）和高动态范围成像（HDRI）训练 CNN 重建高频细节来级联HDRI和SR。具体而言，我们工作中的高频分量是根据Retinex-based的图像分解 ，只有映射分量由CNN实现，而其他分量（illumination）以常规方式处理。在训练CNN时，我们设计了适当的损失函数，以提高所得图像的自然质量。实验表明，我们的算法优于基于CNN的SR和HDRI的级联实现.
但是，对于HDRI-SR联合任务，我们有一个问题，那就是没有标准化的标签数据。准确地说，当前的HDR数据集中没有很好地指定HDR图像的亮度范围和从HDR到LDR的色调映射函数。此外，目标图像的动态范围通常彼此不同，并且由于大多数图像中使用了局部自适应非线性映射，因此色调映射函数也不同且呈非线性.因此，通过直接训练有区别能力的CNN来将LDR图像映射到HDR图像，网络通常无法做到收敛. 因此，我们需要使用变换后的图像或查找受亮度范围和色调映射函数影响较小的其他域 例如: DCT domain,进行处理减少JPEG artifacts , wavelet domain进行超分.
参数说明:
| HDR-HR image | |
| HDR-LR | |
| LDR-HR | |
| LDR-LR |
图像分解:
是
通过WLS(weighted least square 加权最小二乘) filter 作用得到的结果.
wls filter 参数设置为: λ = 2, α = 2, and = 0.0001
illumination增强: ILL-E
首先, bicubic interpolate 双三次插值 到
然后, 使用反伽马函数 即
将
转变为
这里没有是用CNN直接从 到
,是因为 根据 实验，与插值和拉伸相比，使用CNN不会改善整体性能，因为亮度分量是包含很少信息的平滑图像
reflectance增强: REF-E
使用 CNN网络命名为 REF-Net 映射 到
REF-Net 结构:
虽然U-Net 在语义分割任务是有效的,但是对于有丰富纹理的 reflectance components预测不一定好. 所以使用两个U-Net ,
所有的卷积核都是3*3, 逆卷积核(transposed convolution)都是4*4
因为reflectance 是 亮度和illumination之间的log比. 区间为负无穷到正无穷,不满足CNN的直接输入, 在 实验中发现，当 未经任何预处理将R馈送到CNN时，我们的CNN无法预测高质量的reflectance
这里使用tanh函数将输入映射到(-1, 1)
HDRI-SR 预测:
重建增强亮度:
表示元素级相乘.
最后HDR irradiance map : ,其中,
是
双三次插值得到.
- reconstruction loss: MAE
- adversarial loss:
生成方案不仅可以产生更好的清晰度和细节，而且还可以根据训练数据集预测饱和区域，例如褪色区域和减弱的暗像素, 使用Ra-GAN[23] 网络的loss.
- Overall loss: 文章分为两个网络 一个是基础model= HDRI-SR-B(没有对抗loss), 一个是复杂model=HDRI-SR-C(有对抗loss)
最后overall loss 为:
判别器网络结构:
训练阶段:
使用数据集MMPSG[64]
值得指出的是，通过从LDR图像和相应的色调映射HDR图像中去除照明分量，可以缓解HDR数据集的这种不一致的特征,我们还尝试使用原始的HDR图像提取R（用于去除照明），但是，我们发现从色调映射的HDR图像中提取包含更好的细节信息，最终产生了更好的性能
评价指标:
image quality evaluator(NIQE)[68]
gradient-based evaluator(HIGRADE)[69]
no-reference quality metric for single-image super-resolution(NQSR)[70]
[23] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, Generative adversarial nets,” in Advances in neural information processing systems, pp. 2672–2680, 2014.
[28] R. P. Kovaleski and M. M. Oliveira, “High-quality reverse tone mapping for a wide range of exposures,” in Graphics, Patterns and Images (SIB-GRAPI), 2014 27th SIBGRAPI Conference on, pp. 49–56, IEEE, 2014.
[30] G. Eilertsen, J. Kronander, G. Denes, R. K. Mantiuk, and J. Unger, “Hdr image reconstruction from a single exposure using deep cnns,” ACM Transactions on Graphics (TOG), vol. 36, no. 6, p. 178, 2017.
[45] J. Cai, S. Gu, and L. Zhang, “Learning a deep single image contrast enhancer from multi-exposure images,” IEEE Transactions on Image Processing, vol. 27, no. 4, pp. 2049–2062, 2018.
[64] P. Korshunov, H. Nemoto, A. Skodras, and T. Ebrahimi, “Crowdsourcing-based evaluation of privacy in hdr images,” in Optics, Photonics, and Dig-ital Technologies for Multimedia Applications III, vol. 9138, p. 913802, International Society for Optics and Photonics, 2014.
[67] Y. Zhang, K. Li, K. Li, L. Wang, B. Zhong, and Y. Fu, “Image super- resolution using very deep residual channel attention networks,” in Pro- ceedings of the European Conference on Computer Vision (ECCV), pp. 286–301, 2018.
[68] A. Mittal, R. Soundararajan, and A. C. Bovik, “Making a "completely blind" image quality analyzer,” IEEE Signal Processing Letters, vol. 20, no. 3, pp. 209–212, 2013.
[69] D. Kundu, D. Ghadiyaram, A. C. Bovik, and B. L. Evans, “No-reference quality assessment of tone-mapped hdr pictures,” IEEE Transactions on Image Processing, vol. 26, no. 6, pp. 2957–2971, 2017.
[70] C. Ma, C.-Y. Yang, X. Yang, and M.-H. Yang, “Learning a no-reference quality metric for single-image super-resolution,” Computer Vision and Image Understanding, vol. 158, pp. 1–16, 2017.