为什么 p(z) 在变分自动编码器中是正态高斯分布？

Question

在变分自编码器中，目标函数有两项，一项使输入和输出 x 相同，另一项正则化，q(z) 和 p(z) 通过 KL 散度接近。 我不明白的是为什么我们可以假设 p(z)~Normal Gaussian with 0 mean and 1 variance？

为什么不说..variance 小于 1？以便在隐藏层中用更窄的高斯浓缩更多的信息？

谢谢

Answer 1

如果网络足够强大以合成复杂的函数，则先验的形状应该（理论上）在很大程度上没有影响。在您作为先验的高斯方差的特定情况下，网络可以通过缩放后验分布 Q(z|X) 的相关统计数据并适当地重新缩放下一层的采样来轻松适应不同的方差。网络。生成的网络将具有与前一个完全相同的行为（和损失）。因此，先验高斯方差的作用只是固定潜在空间的度量单位。 Doersh 在Variational Autoencoders 的优秀教程中讨论了该主题（第 2.4.3 节）；你可能也有兴趣看看我的blog。