Abstract:
本文以提出的解决方案和结果为重点,回顾了AIM 2020在高效单图像超分辨率方面的挑战。 挑战性任务是基于低分辨率和相应高分辨率图像的一组先验样本,对输入图像放大x4倍数超分辨。 目的是设计一种网络,该网络可以减少一个或多个方面,例如运行时间,参数量,FLOPs,**函数个数和内存消耗,同时至少保持MSRResNet的PSNR指标。 赛道有150名注册参与者,有25个团队提交了最终结果。 他们以有效的单图像超分辨率来衡量最新技术。
Introduction:
本次挑战赛关注于SISR另一个研究方向,即高效SR的研究方向,这对于在资源受限的设备上部署模型至关重要。影响SR模型效率的因素有很多种,包含了运行时间、参数量、FLOPs等。对应的研究方法有:手工设计的网络结构,网络剪枝,卷积核分解,网络量化,神经体系结构搜索(NAS)和知识蒸馏等。
现有的方法主要从参数量和计算量Flops上对网络进行优化。然而,最近有关高阶视觉任务的工作指出,更少的FLOPs并不总是表明网络效率更高,而网络**的次数反而可以更准确地衡量网络效率。因此,有效的SR方法需要从不同方面进行全面分析,而不仅仅是从参数和FLOP方面进行全面分析。因此,这项挑战旨在寻求先进和新颖的解决方案,以实现高效的SR,衡量其效率并确定总体趋势。
AIM 2020 ESR Challenge:
比赛的主要目的:
(i)推进对有效SR的研究;
(ii)比较不同方法的效率,并且
(iii)为学术界和工业界的参加者提供机会进行互动和探索合作。
数据集:DIV2K Dataset 800/100/100
baseline:本次比赛是与baseline model进行比较,在进行多个效率参数方面优化的同时,保证PSNR指标不降。baseline采用的是MSRResNet。
评估指标:运行时间、参数量、计算量FLOPs、**函数次数以及性能表现PSNR值。在上述指标中,运行时间被认为是最重要的指标。 验证和测试PSNR至少应与baseline相当。
Challenge Results:
比赛结果如上图所示,其中还将AIM2019的冠军结果IMDN放在表中进行了一起比较。可以看出,AIM2020的结果在运行时间等指标上都有了进一步的进展。
另一方面,图中可以看出,尽管404NotFound和MLVC提出的方法具有比IMDN更低的参数和FLOPs,但它们的运行时间要慢得多。为了分析这种差异,本文在表2中报告了参数数量,FLOPs数量,**数量和最大GPU内存消耗相对于运行时间的Spearman秩相关系数(SROCC)值。
从表2中可以看出,参数的数量和FLOPs的数量与运行时间的相关性不高。 相反,**次数是更好的指标。 然而请注意,参数数量和FLOP数量仍然是模型效率的重要方面。