解决 VAE 中的爆炸梯度

【问题标题】：Resolve exploding gradient in VAE解决 VAE 中的爆炸梯度
【发布时间】：2023-03-16 15:37:01
【问题描述】：

如何解决深度生成模型 (VAE) 中的爆炸梯度？

注意：数据集的列中包含很多 NaN 值

【问题讨论】：

【解决方案1】：

我不确定 VAE 是否具有典型的爆炸梯度。这可能是您的代码中的另一个问题。然而，爆炸梯度通常通过梯度裁剪来解决：

weights = weights*clipping_threshold/l2_norm(weights)

其中clipping_threshold 等于1。

【讨论】：

【解决方案2】：

默认情况下，VAE 无法处理丢失的数据。首先清理您的数据或尝试应用一些方法来处理丢失的数据，即：

【讨论】：