Taskonomy: Disentangling Task Transfer Learning
项目主页：Taskonomy
这篇Paper是CVPR2018的best paper。主要关注于迁移学习方面的研究。以前我们经常会用ImageNet预训练好的模型来到新的数据上finetuing，可是我们从没有仔细度量过，在分类上预训练好的模型，应用到分割上，会比在检测问题上预训练好的模型应用到分割上是好是坏。作者在这里就度量了26个视觉学习任务之间的迁移关联性。通过大量的实验对比，可以发现任务之间的关联性，从而使得模型用更少的数据进行迁移学习并且依然可以工作的很好。
总体思路
为了度量任务之间的相关性，作者总体思路分为三个步骤：
作者把度量任务相关性的这个工具，也就是上面这个东西，叫做Taskonomy：即Task Taxonomy合并的简称。
(I): Task-specific Modeling。首先对每一个任务进行从零学习，所用的模型架构Encorder-Decorder结构。总共26个任务，其Encorder的结构都是一致的，Decorder会根据不同的任务选择不同的结构（毕竟不同的任务输出不一样，结构也就不一样）。(II): Transfer Modeling。使用步骤(I)中训练好的Encorder提取特征，迁移到其它任务当中。比如把分类的特征迁移到去噪当中。图中的1st order, 2nd order….表示所使用的迁移特征的数量，比如：把分类，检测的特征级联起来，迁移到图像去噪任务当中去，那么这个就是2nd。(III): Task Affinity Normalization。对于某一类任务，比如去噪任务，使用不同的特征作为去噪的输入进行模型迁移，得到的结果显然是有好有坏的。因此，我们可以根据把这个结果作为一个度量去噪任务和其余任务关联性的指标。然后把这个指标通过AHP算法（这个是运筹学的一个算法，下面细讲）进行归一化，就可以得到一个向量，向量的每一个值都代表这个任务和其余任务的关联性。那么对于每一个任务都可以构建一个向量，最后就得到了一个矩阵了。(IV): Compute Taxonomy。这个步骤就是计算一个最佳的迁移学习方案了。根据前面的任务相似性度量，可以算出各个任务之间的相似性。因此，对于任意一个任务，我们可以找到一种最佳的学习方案，使用尽可能少的数据来进行迁移训练，使得模型效果尽可能好。
下面分别介绍每一个步骤
Task-specific Modeling & Transfer Modeling
作者概括了26种学习任务，并对他们之间的关联性进行度量。下面是其中24种任务的介绍：
这里面基本上涵盖了大部分常见的视觉任务，2D，3D都有。然后，作者设计了相应的网络分别对这26个任务进行学习，并进行模型迁移，网络结构如下：
在上述模型中，输入图像送入到Encorder中提取特征，然后把提取到的特征迁移到其他任务。如果输入的特征是多个任务学习到的，那么也就是多阶的特征。