训练稀疏自动编码器

Question

我的数据集由大量向量组成。数据点大多为零，约 3% 的特征为 1。本质上，我的数据非常稀疏，我正在尝试训练自动编码器，但我的模型正在学习只是重新创建全零的向量。

有什么技术可以防止这种情况发生吗？我尝试用骰子损失代替均方误差，但它完全停止了学习。我的其他想法是使用有利于正确猜测 1 而不是 0 的损失函数。我也尝试过使用 sigmoid 和线性最后一次激活，但没有明确的赢家。任何想法都会很棒。

Answer 1

您似乎正面临严重的“类不平衡”问题。

1. 看看focal loss。这种损失是为具有严重类不平衡的二元分类而设计的。

2. 考虑“硬负挖掘”：也就是说，只为部分训练示例（“硬”示例）传播梯度。
   参见，例如：
   Abhinav Shrivastava、Abhinav Gupta 和 Ross Girshick Training Region-based Object Detectors with Online Hard Example Mining（CVPR 2016）。