摘要
监督学习的成功依赖于假设训练和测试数据来自相同的潜在分布，这在实践中往往是无效的，因为潜在的分布转移。鉴于此，现有的非监督域自适应方法大多集中于实现域不变表示和小源域误差。然而，最近的研究表明，这并不足以保证在目标域上有良好的泛化，事实上，在标签分布位移下是有害的。此外，在许多实际应用中，从目标领域获取少量标记数据并使用它们来促进源数据的模型训练往往是可行的。受上述观察的启发，本文第一次提出了一个在半监督域自适应(semi-supervised domain adaptive，Semi-DA)的设置下的方法，能够同时学习不变量表示和风险。首先，我们为半监督下的分类和回归问题提供了一个有限样本界。边界提出了一种获得目标泛化的原则性方法，即在特征空间中通过区域间的边界分布和条件分布进行对齐。在此基础上，我们引入了LIRR算法来共同学习不变表示和风险。最后，在分类和回归任务上进行了大量的实验，证明了这一点与只学习不变表示或不变风险的方法相比，LIRR始终如一地实现了最先进的性能和显著的改进。
introduction
监督学习的成功取决于一个关键的假设，即测试数据应该与训练数据共享相同的分布。不幸的是，在大多数真实的应用程序中，数据是动态的，这意味着在训练(源)和测试(目标)域之间经常有分布变化。为此，无监督域适应(UDA)方法旨在通过将标记源数据的预测模型适应于未标记目标数据来解决这一问题。UDA的最新进展集中在学习域不变表示，这也会导致源域上的一个小错误。我们的目标是学习可以泛化到目标域的表示和源预测器。然而，最近的工作研究表明，上述条件不足以保证在目标域上有良好的推广。事实上，如果区域间的边缘标签分布不同，上述方法对目标泛化的影响是可以证明的。
另一方面，虽然标记的目标数据通常比标记的源数据更难获取或代价更大，但可以获得更好的准确性。此外，在许多实际应用中，如车辆计数、目标检测、语音识别等，至少可以从目标域获得少量的标记数据，以便于利用源数据进行模型训练。基于这些观察结果，在本文中，我们着重研究一种更现实的半监督域自适应设置。在半监督中，除了大量的带标记源数据外，学习者还可以从目标域访问少量的带标记数据。同样，学习者的目标是在源和目标之间的潜在转换下，产生一个能很好地推广到目标领域的假设。半监督是一种更现实和可推广的设置，它允许从业者设计更好的算法，以克服上述无监督算法的限制。在这种情况下的关键问题是:如何最大限度地利用标记的目标数据来更好地进行模型训练?
本文在半监督的情况下讨论了上述问题。为了首先了解性能差异是如何产生的，我们推导了半监督下分类和回归问题的有限样本泛化边界。我们的理论表明，对于一个给定的预测器，两个域之间的精度差异取决于两个项:(i)边缘特征分布之间的距离，和(ii)最优预测因子与源域和目标域之间的距离。我们的观察很自然地导致了一种有原则的方法，可以同时学习跨域的不变表示(最小化边缘特征分布之间的差异)和风险(最小化条件分布与特征之间的差异)，从而更好地泛化目标。鉴于此，我们引入了新的界最小算法LIRR，这是一种共同学习不变量表示和风险的模型。作为比较，现有的研究只关注于学习不变表示或仅学习不变量风险，这不足以减少对目标的良好概括的准确性差异。与这些方法不同的是，LIRR共同学习了不变表示和风险，从而更好地缓解了域间的准确性差异。为了更好地理解我们的方法，我们在图1中演示了所提出的算法LIRR。
总之，我们的工作提供了以下贡献：
从理论上给出了半监督的有限样本推广边界和回归问题。我们的边界为跨域同时优化边界分布和条件分布提供了新的方向，以更好地泛化目标。就我们所知，这是半监督设置中的第一次泛化分析。
为了弥合理论和实践之间的差距，我们提供了我们的理论结果的信息理论解释。基于这一观点，我们提出了一种边界最小化算法，LIRR，以联合学习不变表示和不变最优预测器，以减轻跨域的精度差异，以便更好地推广。
我们系统地分析了LIRR与大量的实验在分类和回归任务。与只学习不变表示或不变风险的方法相比，LIRR在半监督上有很大的提升。我们还分析了随着标记目标数据的增加，LIRR算法的自适应性能甚至超过了仅在标记目标数据上训练的oracle Full target method，说明LIRR能够成功地利用源数据中的结构来提高目标域上的泛化性能。
图1 提出的模型概述。学习不变表示导致了不同域之间无法区分的表示，但是由于最优预测器的不对齐，仍然会有样本分类错误(如红圈所述)。除了学习不变量表示，LIRR模型还联合学习不变量风险，以便更好地跨域对齐最优预测器。
总结
在本文中，我们认为与UDA相比，半监督的设置更现实，具有更广泛的实际应用，潜在的更好的效用。为此，本文提出了半监督下分类问题和回归问题的第一个有限样本推广边界。我们的结果通过提出一种有原则的同时学习不变量表示和跨域风险的方法，揭示了半da的新情况，从而产生了一种界最小化算法- LIRR。在真实数据集上的大量实验，包括图像分类和流量计数任务，证明了LIRR的有效性以及它与我们的理论结果的一致性。我们相信，我们的工作朝着更健壮的监督式学习方法迈出了重要的一步，这种方法能够抵抗模型培训和模型部署之间的潜在分布转移。