论文笔记：Domain Adaptation for Image Dehazing

目录

• 摘要
• 1. Introduction
• 2. Related work
• 2.1. Single Image Dehazing
• 2.2. Domain Adaptation
• 3. Proposed Method
• 3.2. Image Translation Module
• 3.4. Training Losses

论文信息：Domain Adaptation for Image Dehazing arXiv:2005.04668v1

摘要

目前大多数 learning-based 方法在合成雾图上训练去雾模型，很难泛化到真实的有雾图像当中，也就是存在 domain shift 的问题。我们首先应用一个双向转换网络（a bidirectional translation network）来完成合成域和真实域图像间的相互转换，然后将转换前后的图像都用来训练去雾模型。

1. Introduction

physical scattering models:

早期 prior-based methods（如dark channel prior 和 color-line prior）存在的问题：these image priors are easily inconsistent with the practice, which may lead to inaccurate transmission approximations.

deep learning-based 方法需要大量的有雾和无雾图像的 pair，现实生活中很难获取。于是，很多研究依赖于合成雾图（synthetic hazy dataset），但这又存在 domain shift 的问题，即从合成数据中学习的模型很难泛化到真实数据当中。

本文提出了 domain adaptation framework 以解决单幅图像去雾的问题。它包含两个部分：an image translation module and two domain-related dehazing modules (one for synthetic domain and another for real domain)。

2. Related work

2.1. Single Image Dehazing

Prior-based methods: estimate the transmission maps and atmospheric light intensity based on the statistics of clear images. 如 Tan 的 contrast maximization method，He 的 dark channel prior (DCP)，Fattal 的 color-line assumption 以及 Berman 等人的方法。不过，这些方法都有其自身的限制，因为其先验并不适用于所有的真实世界图像。

Learning-based Methods：直接利用 deep CNNs to 估计 transmissions 和 atmospheric light 的方法有 Cai 的 DehazeNet，Ren 的 coarse- to-fine strategy，Zhang 的 densely connected pyramid network，Li 的 AOD-Net。另外，也有一些 end-to-end 的方法直接还原出清晰图像，如 Ren 的 gated fusion network，Qu 的 pix2pix de- hazing network。

不过，上述 CNN-based 方法都是在合成（synthetic）雾图上训练模型，应用到真实场景时模型性能会大幅下降。Li 提出 semi-supervised dehazing model，但仅仅是把真实图像和合成图像一起用作训练，并没有真正解决 domain shift 的问题。

2.2. Domain Adaptation

Domain adaptation 旨在解决不同域之间的不一致问题，现有工作都是基于 feature-level 或 pixel-level 的。近几年，许多方法将二者结合起来使用。

In this work, we take advantage of CycleGAN to adapt the real hazy images to our dehazing model trained on synthetic data。

3. Proposed Method

3.2. Image Translation Module

包含两个“对称”的 translators，synthetic to real network 以及 real to synthetic。不同的是，generator $G_{S→R}$GS→R​ 还加了 spatial feature transform (SFT) layer，以把深度信息融合进去。

3.4. Training Losses

Image translation Losses 如下，其中 $L_c$Lc​ 是 cycle-consistency loss，$L_{idt}$Lidt​ 是 identity mapping loss。

Image dehazing Losses如下，其中 $L_{rd}$Lrd​ 和 $L_{sd}$Lsd​ 是 dark channel (DC) loss，$L_{rt}$Lrt​ 和 $L_{st}$Lst​ 是 total variation losses。