轻松开始

专访香港科技大学教授杨强:国内的人工智能研究不能太跟风

借用文中的话,解释一下迁移学习的思想:
迁移学习的思想是,通过发现大数据的模型和小数据问题之间的关联,然后把模型迁移过去,这样一来如果在大数据领域先得到了机器学习模型,在研究下一个相关领域时,只用一部分数据或者小数据就可以完成。利用迁移学习这一特征,我们就不用花大力气去收集资源了,这对人工智能的发展非常关键。

相关资料

杨强老师有一篇关于transfer learning的survey,感兴趣的同学可以移步去看看A Survey on Transfer Learning

台湾的李宏毅老师对迁移学习也做了一些有意思的讲解,迁移学习是要是要将源数据当中学到的”知识“迁移到目标数据当中,根据是否有标签label,李宏毅老师对迁移学习做了一个有意思的分类:
Transfer learning 迁移学习 综述

简单理解

个人觉得这是一个很有意思的分类,因为上面的很多概念,之前都在论文中多多少少见过,fine-tuning这个技术自然不用多说,现在做深度,为了提升效果,一般都在自己的数据库上以小学习率进行fine-tuning. 因为有IMAGEnet数据库在前,使用预训练好的模型,这是我自己理解的迁移学习,也没有深究细的分类。

对于Domain-adversarial training,自己看过一些论文,就是学习的时候,直接把这种相互之间的差异关系学出来。有关Zero-shot learning,就是有标签样本很少,李宏毅老师的分类是把它归为无标签。Self-taught learning,这个其实不是特别了解,完全无标签根本是无法学习的,所以我自己的理解,这里的源数据无标签,其实源数据和目标数据之间可能隐含着隐藏的标签或者弱标签。Self-taught Clustering同样理解不深,就不误导大家了,想要了解的,可以仔细看看李宏毅老师的ppt。

相关文章: