Multi-Task Learning Enhanced Single Image De-Raining 

基于增强的多任务学习的单图像去雨

 

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

作者单位:大连海事大学  

本文使用多任务学习改进图像去雨,使用多任务回归模型中将各种语义约束任务组合在一起的方法,其任务包括内容、边缘感知、局部纹理相似性方面等,另外,为更进一步改进模型性能,作者还提出了两种简单但功能强大的动态加权算法,其中自适应加权方案效果更好。

该多任务增强网络(MENET)基于UNET。在真实数据集和合成数据集的实验上证明,该网络实现了卓越的去雨效果,即使是大雨、甚至是条纹状雨效果也很不错。 

 而且该文提出的算法相比其他SOTA方法,速度也有大幅提升。

该文方法与其他State-of-the-art方法去雨效果的视觉比较:

 

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

 

可见,视觉效果上最接近Ground truth了!

图像去雨是个“病态”问题示例:

 

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

 

该文提出方法的网络架构:

 

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

消融实验分析:

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

TABLE II 是与其他SOTA算法的比较结果

 

除了效果好,相比其他算法速度也很快,

 

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

 

对于大小为224 x 224 的图像,该文算法仅需要0.6578s左右。

可视化效果比较:

 

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

效果好,速度快!基于增强多任务学习的单图像去雨算法MENET 深度学习

 

文章转载至公众号“我爱计算机视觉”

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址:https://www.flyai.com/article/art4cf284c468e07db587033e83

相关文章:

  • 2021-07-18
  • 2021-11-06
  • 2021-07-02
  • 2021-07-19
  • 2021-04-28
  • 2021-10-17
  • 2021-05-01
  • 2021-09-23
猜你喜欢
  • 2021-10-09
  • 2021-09-05
  • 2021-04-29
  • 2021-12-04
  • 2021-06-16
  • 2021-07-07
  • 2021-08-14
相关资源
相似解决方案