Unsupervised domain adaptation with residual transfer networks(NIPS 2016)

Long, Mingsheng, et al. “Unsupervised domain adaptation with residual transfer networks.” Advances in Neural Information Processing Systems. 2016.

问题：

domain adaptation用于分类问题。其中source domain具有label，target domian无label。

文章假设：

We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function.

网路结构 (Residual Transfer Network (RTN))

一般domain adaptation 用于分类任务的网路结构是一个特征提取器+分类器：

文章对于source domain和target domain采用不同的分类器结构

即source domain的分类器较target domain多了一个参差块

$f_S(x)=f_T(x)+\Delta f(x)$fS​(x)=fT​(x)+Δf(x)

其中

$f_s(x)=\sigma(f_S(x)),f_t(x)=\sigma(f_T(x))$fs​(x)=σ(fS​(x)),ft​(x)=σ(fT​(x))为**值。

这样可以根据source domain里面的label进行训练，如果设置成
$f_T(x)=f_S(x)+\Delta f(x)$fT​(x)=fS​(x)+Δf(x)则没法训练。

残差块的特性保证了$|\Delta f(x)| \ll |f_T(x)| \approx |f_S(x)|$∣Δf(x)∣≪∣fT​(x)∣≈∣fS​(x)∣

也就是说保证了target和source classifier 不会偏离太多

与此同时，为了保证迁移到target domain后的性能，还是根据最小熵原则去调整分类器的迁移

损失函数

分类损失

where $L(·, ·)$L(⋅,⋅) is the cross-entropy loss function

MMD penalty

这里$z_i$zi​指的是第i个样本$x_i$xi​,各层输出值的按=element-wise 乘积:

$z_i = \otimes_{\mathcal{l} \in L} x_i^{\mathcal{l}}$zi​=⊗l∈L​xil​

$k(x,y)$k(x,y)为高斯核函数，见下图：

文章说这样做的好处是捕捉到多层特征间的关联，并且便于模型选取。

entropy penalty

前面已讲

参数选择