迁移学习需要来自更相关的领域？

Question

我正在寻找一篇参考论文，在那里我可以发现迁移学习需要来自特定领域的源模型，而不是使用泛化模型，即 imagenet

例如源数据集卫星/无人机高/多光谱植物图像和目标数据集使用农业机器人捕获的植物高/多光谱图像

相比

使用农业机器人捕获的植物的源数据集 ImageNet 模型和目标数据集图像

Answer 1

如果您没有足够的数据，迁移学习对准确性尤其感兴趣。例如，this paper 比较了在 imagenet 上使用和不使用预训练的训练。他们声称，在 10k 图像之后，预训练并没有提供更好的结果，但仍然可以更快地训练。
然后，如果您有一个小数据集，您的问题仍然存在，您应该在 imagenet 上还是在另一个数据集上进行预训练。我认为这个问题的答案在以下段落中给出（您可能感兴趣的参考资料）：

我们需要大数据吗？是的。但是如果我们考虑到收集和清理数据的额外工作量，一个通用的大规模、分类级别的预训练集并不理想——收集 ImageNet 的成本在很大程度上被忽略了，但是“预训练”步骤在当我们扩展这个范式时，“预训练+微调”范式实际上并不是免费的。如果大规模分类级预训练的增益呈指数递减 [44, 30]，则在目标域中收集数据会更有效。

因此，您还需要考虑卫星图像数据集的质量。由于它应该比 Imagenet 更接近您的数据，因此它可能会更好。