留个笔记自用
Learning to Restore Low-Light Images via Decomposition-and-Enhancement
做什么
Restore Low-Light Images，低光照图像还原
非常常见的应用，输入是一张像素值较小并且信噪比较小的图片，将图像重建为高质量的高细节的图片
做了什么
这里的(a)便是系统的输入低光照图像，b、e、f都是利用其他方法所进行的图像还原，显然这三者还原出来的效果在人的视觉中都不理想，因为这里提出的存在一个问题，同时增强光照而又同时增强细节即去除噪声的话是不稳定的。所以这里做了一个尝试。对b使用高斯滤波器将b分解成一张高频图d和低频图c，由此可见，低频图包含了大部分特征信息和颜色等，本文的想法就是利用低频特征去增强高频细节。
首先，与直接增强整个图像相比，更容易增强有噪声的微光图像的低频层，这是因为低频层的噪声更容易检测，然后抑制，而给定图元的低频信息，就可能能够更好的推断相应的高频信息。
需要了解一下这里的Hist，就是曾经学过的直方图均衡化
所谓的直方图是图像中像素强度分布的图形表达方式.，它统计了每一个强度值所具有的像素个数而直方图均衡化就是让其在各个像素上的分布均衡，感官上来说就是将元素范围直接拉伸
怎么做
整体结构分为两个大部分，第一部分是对低频图片的增强，这里将这一部分结果记为函数C，然后还有一个颜色恢复的方法，这里将这步的结果记为函数A。将A和C联合建模，免除了同时学习全局特征（如信息、照明）和局部信息（颜色）会引起的不稳定性。整体公式????
这里的I即是低光照sRGB原图，α是可学习的全局比例，这里的Ia是第一部分的输出即低频图像增强结果
然后是第二大部分高频图像细节增强，这里将这一部分的结果记为函数D，最终的图像恢复结果便是低频图像再加上高频图像的细节增强，这也正是本文主旨
然后是这个整体结构所应用到的两个主要模块，Attention to Context Encoding注意上下文编码ACE，Cross Domain Tranformation跨域转换CDT
首先是ACE模块
输入Xin为H×W×C维度的矩阵，分为三个branch，两路经过的是不同的空洞卷积，记为fd1和fd2，然后就可以根据这两个得到attention map Ca
理解一下这里的Ca， 表示像素级的相对对比度信息，其中高对比度的像素被视为属于高频层。 这时候将Ca取反，取出原低对比度的像素，这里即为了将低频内容特征取出。
这里的xc即低频内容特征
这里的xc↓指的是xc经过一层pooling层缩小特征维度，g、h、f代表着一系列卷积、reshape、转置等组成的操作，这里的意图是为了通过考虑每个像素与所有其他像素关系来计算非局部增强特征。
结构中存在着两个ACE部分，上面的ACE部分使用的是低频的增强，即Ca处需要计算逆，而下面的ACE部分使用的是高频的增强，即原生的Ca
这张图就展示了两者的区别，Ca使用的高频的特征而Ca逆使用的是低频特征。
然后是下一模块CDT模块，这个模块的功能是为了使用对弱光图像全局属性的理解，来恢复光照和图像内容，弥合弱光域和增强域之间的差距
这部分的结构和ACE相比有相似性，首先的部分都是使用空洞卷积和原特征进行堆叠，这里也同样使用的是Ca的逆即低频内容特征，然后将Xen和Xdeconcatenate之后计算全局缩放向量v，这里的xde即图中decoder中直接连接的部分，得到v后两者再度相乘和得到最后的Xout。
跟ACE同理的是，前面部分使用的是Ca的逆即低频，而后面部分使用的是Ca即高频
最后便是LOSS和训练
这里的LOSS使用了两个，Lacc和Lvgg
这个LOSS是个普通的L2 LOSS，C指的是重建的图像内容，Ifgt是低频图像的GT，Ic是模型恢复图，Igt是恢复图的GT，为了尽可能是低频图和恢复图都接近GT
这里的C用图更好理解，就是为了获取低频图中的图像内容
这里的Φ使用的是训练完毕的VGG，也是很普遍的提取特征后进行两图对比的LOSS，为了尽可能使两图的全局语义特征相同
总结
1.理解中，图像增强时某些噪声会被不可预测地放大，这点在高频图像中也不可避免，即使说明了低频下更好发现噪声，所以感觉有点为了写而强加的，总体来说没有什么特别值得留意的，这种问题分解的方式也没有特别大的新意
2.文章最后也说了，可以针对细节部分采取对抗学习来加强真实性