来源：专知
人类的视觉系统证明，用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说，这种能力来自于看到了数百万个其他类别，并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系，以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的，所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程，例如，一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输，并保证最终模型的性能。
发布于 05-22