Knowledge Distillation for BERT Unsupervised Domain Adaptation

1、介绍
Knowledge Distillation for BERT Unsupervised Domain Adaptation运用BERT模型和distillation技术实现源域到目标域的知识迁移，提出了一种简单而有效的无监督域适应方法，它将对抗性区分域适应（ADDA）框架与知识相结合蒸馏，在30个领域对的跨域情感分类任务中测试方法，其基本网络结构图如下所示:

2、主要技术
BERT模型预处理源域数据，提取相应特征，然后运用distillation技术实现源域知识到目标域知识的迁移，从而达到目标域的情感分类任务，下图为知识蒸馏技术方法:

Knowledge Distillation for BERT Unsupervised Domain Adaptation