迁移学习完全不同的领域和任务答案

【问题标题】：Transfer Learning completely different domain and task迁移学习完全不同的领域和任务
【发布时间】：2019-07-29 01:09:39
【问题描述】：

我一直在阅读一些关于迁移学习的论文和博客文章。我意识到有些人说“不同”，有些人说“不同但相似”。现在，我很困惑。

说吧，

D 是域。 T 是任务。
a 是源，因此源域是 Da，源任务是 Ta。
a' 与 a 不同但相似。
b 是不同于a。
Ms 是从Da 和Ta 学习的源模型。
Mt 是目标模型。

在哪个目标领域-任务组合中，Ms 可以将其知识转移到 Mt 中？

1. (Da, Tb)
2. (Db, Ta)
3. (Da', Tb)
4. (Db, Ta')
5. (Da', Ta)
6. (Da, Ta')
7. (Da', Ta')
8. (Db, Tb)

老实说，我知道 5、6、7 是可能的，因为论文是这么说的。而且我怀疑 8 会起作用（不是吗？）。

但是域或任务为 b 的 1、2、3、4 呢？

【问题讨论】：

这是一个棘手的问题，我认为答案仍有待研究。根据我的经验，预训练模型总是比从头开始更好，即使在转移到完全不同的域/任务时也是如此。顺便说一句，您应该链接您在问题中提到的论文。

标签： machine-learning transfer-learning

【解决方案1】：

这取决于源域和目标域的不同程度。如果源域和目标域没有相似之处，则无法通过对任务域进行预训练来改进目标域中任务的模型。但是，如果有相似之处，例如任何图像域到几乎任何其他图像域，并且您的源域数据集很大，将您的模型从源域转移到目标域可能有助于规范您的模型并提高目标域的泛化能力。特别是在目标域数据集很小的情况下。

在深度学习中，您希望重新初始化（从随机权重重新训练）更多层（自上而下）并根据您的源和目标域以及源和目标任务的不同程度进行更多微调。

【讨论】：

【解决方案2】：

什么是“域”？

在自然语言处理 (NLP) 领域，有很多关于领域适应的研究，您可以在您描述的关于 NLP 所称的“不同领域”的所有案例 (#1-#8) 中获得一些好处“ - 例如新闻专线文本与推文文本与临床放射学报告文本；是的，即使在 #8 中也是如此。

但是，您可以拥有更多不同的“域”（恕我直言，实际上不会被称为域）-例如，英文文本与中文文本；或英文文本与英文录音。即使在这些情况下也可以进行一些迁移学习，但要有限得多；所以这真的取决于你在“这是一个不同的域”与“这是一个完全不同类型的输入数据”之间划清界限的位置。

【讨论】：