为什么在无监督学习中不使用 DropOut？答案

【问题标题】：Why isn't DropOut used in Unsupervised Learning?为什么在无监督学习中不使用 DropOut？
【发布时间】：2013-11-09 02:27:38
【问题描述】：

所有或几乎所有使用 dropout 的论文都将其用于监督学习。似乎它可以很容易地用于规范深度自动编码器、RBM 和 DBN。那么为什么在无监督学习中不使用 dropout 呢？

【问题讨论】：

【解决方案1】：

Dropout 用于无监督学习。例如：

翟双飞、张中飞：矩阵分解和自动编码器的 Dropout 训练用于稀疏图中的链接预测（arxiv，2015 年 12 月 14 日）

【讨论】：

【解决方案2】：

带标签的数据相对稀缺，这就是为什么监督学习通常受益于强大的正则化，例如 DropOut。

另一方面，未标记的数据通常很丰富，这就是通常不需要 DropOut 的原因，并且可能是有害的（因为它会降低模型容量）。

即使是像 GPT-3（175e9 参数）这样的巨大模型在更新 300e9 令牌后仍然欠拟合。

【讨论】：