论文阅读笔记---Dynamic Range Expansion Using Cumulative Histogram Learning for High Dynamic Range Image...

H. Jang, K. Bang, J. Jang and D. Hwang, “Dynamic Range Expansion Using Cumulative Histogram Learning for High Dynamic Range Image Generation,” in IEEE Access, vol. 8, pp. 38554-38567, 2020, doi: 10.1109/ACCESS.2020.2975857.

摘要

与一般方法不同的是, 文章没有在RGB 域学习 LDR到HDR的映射关系，而是先学习LDR到HDR 亮度累积直方图的映射，之后将LDR亮度直方图跟预测得到的直方图在，通过直方图匹配后，合并颜色分量得到初步ＨＤＲ结果，因为颜色可能存在偏差，所有再学习初步ＨＤＲ到ＧＴ之前的颜色映射，得到最终的HDR.

• 为什么在Lab域, 不是RGB域?
  RGB域三通道LDR与HDR差异都比较大, 不好学习. 而Lab域, 只有亮度差异大, 颜色分量差异非常小.
  
• 为什么使用累积直方图不直接使用直方图?
  直方图的形状和特征也过于复杂而无法学习。图4（c）清楚地显示了LDR和HDR直方图在形状，密度，局部变化方面的巨大差异, 直接学习LDR和HDR直方图未能对这些差异产生真实的HDR直方图的良好估计。然而，图像的累积直方图具有学习有利的特性，如图4（d）所示.LDR和HDR的累积直方图均具有从最低到最高亮度水平的平滑曲线，并且总是以相同的图像像素总数结束，局部变化已大大减少，因此，累积直方图的总体复杂度非常低，与原始直方图相比，LDR和HDR累积直方图之间的差异也较小。
  

算法流程

其中: 累积直方图bins设置为512, kernel size = 11 * 1 , 总共卷积层为60, 所以接收域为601=(11-1)*60+1 > 512
损失函数: (CDF: Cumulative Distribution Function)
$Loss_{CDF} = \sum(CDF_{gt} - CDF_{output})^2$LossCDF​=∑(CDFgt​−CDFoutput​)2

因为存在色差, 所有进行色差学习:


损失函数: (G: ground-truth, E: estimated image)
$Loss_{color}=\sum\sqrt{(L_G^* - L_E^*)^2 +(a_G^* - a_E^*)^2 = (b_G^* - b_E^*)^2}$Losscolor​=∑(LG∗​−LE∗​)2+(aG∗​−aE∗​)2=(bG∗​−bE∗​)2​

直方图匹配的局限性，在恢复完全丢失的信息方面存在局限性。 8位LDR图像是如此饱和，以至于强度被严格压缩，从而导致削波或量化。这些区域的强度差异很小，用肉眼无法分辨，或者它们被裁剪为单一强度，从而完全丢失了原始信息。在使用学习的累积直方图制作估算的HDR亮度图像的过程中使用直方图匹配。但是，由于直方图匹配涉及LDR图像中每个像素的一对一映射，因此无法恢复完美剪切的区域，尽管它可以有效地区分较小的强度差异区域。所以设计了在二维图像域中处理其他色差学习时通过3×3卷积层学习局部信息的方法。模型通过使用U-net结构的合并和上采样来学习一些裁剪区域。但是，这可能是不够的，因为它不会只集中学习剪切区域.