作者：厦门大学信通系
SmartDSP实验室，项目官网题目：用于图像去雨的轻量级金字塔网络
目录
摘要
- 目前存在的去雨网络存在大量的训练参数，不利于移动端的落地使用
- 利用特殊领域的知识简化学习过程：
- 引入高斯拉普拉斯图像金字塔分解技术，所以在每一级上的学习任务可以简化为参数量较少的浅层网络
- 利用递归和残差网络模块，所以在参数量少于8000时也能实现目前最好的去雨效果
引言
雨天是常见的天气系统，不仅影响人们的视觉，也影响着计算机视觉系统，如：自动驾驶、监控系统等。因为光的折射和散射，图像中的物体容易被雨丝模糊和遮挡。当遇到大雨时，稠密的雨丝将使得这种现象更为严重。因为目前的计算机视觉系统的输入设定是干净清晰度的图像，所以模型的精准度在雨天时将很容易退化。所以，设计高效且有用的去雨算法对于许多应用的落地是十分重要的。
相关的工作
-
视频去雨：可以利用相邻帧时间的时空信息，如利用相邻帧之间的平均密度来从静态背景中去雨。有以下方法：
- 在傅里叶域进行，使用高斯混合模型、低秩逼近、通过矩阵完成
- 将雨丝划分为稀疏区和密集区，然后利用基于矩阵分解的算法
- 基于补丁的高斯混合矩阵
-
单帧图片去雨：单帧去雨无法利用相邻帧信息，所以比视频去雨更加困难。有以下方法：
- 使用内核、低秩逼近、字典学习
- 核回归和非局部均值滤波器
- 将图像分为高频和低频部分，对高频部分使用基于稀疏编码的字典学习来分离和去雨
- 从高频部分进行自学习去雨
- 区分性编码：通过迫使雨层的稀疏向量稀疏化，目标函数可以解决将背景和雨丝分离的问题
- 混合模型和局部梯度下降
- 高斯混合模型
GMMs：背景层从自然图像中学习，雨层从带雨图像中学习 - 可变方向乘法器
ADMM - 基于卷积神经网络的深度学习方法
本文贡献
- 提出
LPNet模型，该模型参数量少于8k，相较于以往的深层神经网络，更有利于在移动端的应用落地。 - 利用特殊领域的知识简化学习过程
- 首次采用拉普拉斯金字塔模块来分解降级图片和有雨图片到不同的网络层次
- 使用递归模块和残差模块建立子网络来重建去雨图像的每层级的高斯金字塔
- 根据不同层级的物理特性采用特殊
Loss函数 - 实现的目前最好的去雨效果，在其他计算机视觉领域也有很强的可应用性
LPNet网络模型
Motivation
- 雨丝会被物体边缘和背景遮挡，所以很难在图像域进行学习，但是可以在高频信息上学习，因为高频部分主要包含了雨丝和物体边缘信息而不带有图像背景的干扰
- 此前为了实现以上操作，利用导引滤波器来获取高频信息作为网络输入，然后进行去雨在进行背景融合，但是在很细的雨丝上很难提取出高频信息
- 基于以上分解的想法 ，提出了轻量级金字塔神经网络简化训练过程，同时减少参数量
Stage I : 拉普拉斯金字塔
拉普拉斯金字塔的获取要通过高斯金字塔的运算，就是通过高斯下采样后再通过拉普拉斯上采样，在于原图相减来获得高频残差