总结
不同色彩空间的广泛统计实验和理论分析表明,朦胧天气中的大气照明主要对YCrCb色空间的亮度通道有很大影响,对色度通道的影响较小。 根据这个先验知识(AIP),作者尝试保持雾场景的内在颜色,并增强其视觉对比度。 为此,他们应用端到端的多尺度卷积网络,可以自动识别模糊区域并恢复缺陷纹理信息。
- A is the global atmospheric light
- J and A are 3N vectors in RGB colorspace.
摘要
雾霾的形成和影响:The atmospheric scattering and absorption gives rise to the natural phenomenon of haze, which severely affects the visibility of scenery. Thus, the image taken by the camera can easily lead to over brightness and ambiguity.
提出的方法:To resolve an ill- posed and intractable problem of single image dehazing, we propose a straightforward but remarkable prior—atmospheric illumination prior in this paper. The extensive statistical experiments for different colorspaces and theoretical analyses indicate that the atmospheric illumination in hazy weather mainly has a great influence on the luminance channel in YCrCb colorspace, and has less impact on the chrominance channels. 【不同色彩空间的广泛统计实验和理论分析表明,朦胧天气下的大气照明主要对YCrCb色空间的亮度通道有很大影响,对色度通道的影响较小。】According to this prior, we try to maintain the intrinsic color of hazy scene and enhance its visual contrast. To this end, we apply the multiscale convolutional networks that can automatically identify hazy regions and restore deficient texture information.
方法的优势:Compared with previous methods, the deep CNNs not only achieve an end-to-end trainable model, but also accomplish an easy image- to-image system architecture.
结果说明:The extensive comparisons and analyses with existing approaches demonstrate that the proposed approach achieves the state-of-the-art performance on several dehazing effects.
引言
(1)介绍雾霾的形成以及造成的影响,以及现在人考虑到具体应用提出的一些去雾的理论方法和一些先验、假设;根据去雾方法的特征可将方法分为两类:多图像恢复和单图像恢复;(2)由于一些硬件设备和技术水平的限制,需要2个或多个图像以及过多的额外工具和信息进行去雾,因此在现实生活中可能并无效。(3)因此,提出了一些优化物理模型,经典的先验以及有效的约束等。提到了Fattal、Tan、He、Meng以及他们的拓展方法。(4)最近一些基于数学的方法:基于概率的和基于学习的方法;(5)还有一些自学习的方法;(6)介绍CNN在多个领域都有应用;(7)鉴于上,提出方法和贡献:
- 我们通过广泛的统计实验和理论分析呈现大气照明先验(AIP),以实现图像到图像CNN网络的雾霾去除。 研究表明,朦胧天气中的大气照明对不同的色彩空间有一定的影响。 朦胧区域主要集中在YCrCb色彩空间中的亮度通道,而色度通道上则较少。
- 引入完全端到端的多尺度CNN以去除雾度。 为了加速训练,学习更多模糊特征,降低模型容量,我们提出去雾网络识别模糊区域并恢复亮度通道中缺陷纹理信息,融合网络融合了YCrCb色彩空间中三个通道的各种特征。
- 实现了没有更多附加信息的图像到图像CNN架构。 建立了模糊和无雾度图像之间的映射。 定量和定性评估证明了所提出的方法相对于现有技术的去雾方法的效率和有效性。
相关工作
大气光先验
关键要点:enhance visual contrast, restore deficient texture information in hazy areas, and remain their intrinsic color.
A 数据实验
发现hazy regions主要集中在YCRCB色彩空间的亮度通道luminance channel上,而较少集中在色度通道上chrominance channels。
B 理论分析
从透视的角度论证了AIP的客观性和泛化性。
推导过程
AIP方法框架
A dehazing net
1)特征提取:雾相关特征提取来识别雾区域;
2)多尺度修复:利用多尺度恢复的方法来恢复不足的纹理信息。
B fusing net
C 联合dehazing和fusing网络
D AIPNET训练
最小化多尺度误差:包括雾图像和清晰图像间的Euclidean距离和Manhattan距离;
实验
setup
- 数据集:Middlebury Stereo Datasets合成数据集、NYU Depth database合成数据集、IMAGENET ILSVRC2012 dataset.合成、真实图像;
- 参数设置
框架结构分析
- 特征单元
- 多尺度单元
- 多尺度网络
质量评估
- 合成图有效性实验:
对比方法:DCP、NBPC、BCCR、CAP、MSCNN、Dehazenet;
评估参数:RREE(有效边缘的恢复比例)、MSE、SSIM、PSNR、WPSNR(weighted peak signal-to-noise ratio);
- 自然图有效性实验
- 其他场景图有效性实验
总结
本文提出了一种新颖简单但功能强大的大气照明先验(AIP)。朦胧天气中的大气照明主要对YCrCb色空间中的亮度通道有很大影响。使用所提出的AIP,训练包括去雾网络和融合网络的端到端多尺度CNN以去除雾度,这实现了图像到图像系统架构。该架构避免了一些手工设计的参数,这些参数可能导致更多的错误,例如传输和大气光的过度估计。更重要的是,大量的非线性复杂度和多尺度损失函数有效地提高了AIPNET模型的预测精度。通过轻量级系统框架,AIPNET在合成和真实数据集上具有最佳的去雾性能,而不是最先进的算法。
对于除雾任务,关键思想是AIPNET自动学习相关的雾霾特征以识别朦胧区域,并增强视觉对比度并使用场景的固有颜色恢复不足的纹理信息。尽管AIPNET在单图像去雾方面非常成功,但仍有大量优化需要进一步研究。例如,将来将研究YCrCb色空间中的ΔH(x)不平衡问题。
引用
Wang A, Wang W, Liu J, et al. AIPNet: Image-to-Image Single Image Dehazing With Atmospheric Illumination Prior[J]. IEEE Transactions on Image Processing, 2019, 28(1): 381-393.