变分自动编码器：编码器是否必须具有与解码器相同的层数？答案

【问题标题】：Variational autoencoder: Does encoder must have the same number of layers as the decoder?变分自动编码器：编码器是否必须具有与解码器相同的层数？
【发布时间】：2018-05-02 09:36:28
【问题描述】：

在变分自动编码器中，编码器的层数是否必须与解码器相同？我使用编码器（密集）：54-10-5-3 和解码器（密集）：3-5-10-25-35-45-54 得到了更好的结果

【问题讨论】：

标签： keras autoencoder

【解决方案1】：

您提出了一个很好的问题，但答案是否定的。

由于 Aldream 已经指出了一些使用非对称架构的作品，我想指出与您的问题相关的理论工作。

我相信最好的解释来自 ICLR 2017 会议论文：“Variational Lossy Autoencoder”，Xi Chen 等人。

第 2 部分是必读部分。作者将变分自动编码器与 bit-back 编码联系起来，并表明平均码长（相当于变分下界）总是具有使用近似后验分布的额外码长。 当 VAE 的解码器（即 log-datalikelihood p(x|z)）可以在不需要 q(z|x) 的情况下对数据进行建模时，VAE 将忽略潜在变量！

这意味着如果我们有一个非常强大的解码器（例如，与编码器的层数相同），那么 VAE 可能会通过简单地设置 q(z|x) 完全忽略学习 q(z|x) ) 到先验的 p(z)，因此，将 KL 损失保持为 0。

有关详细信息，请阅读上面的论文。在我看来，VAE 与 bit-back 编码的联系是优雅的。

【讨论】：

【解决方案2】：

不，拥有非对称架构的情况并不少见，例如[1、2、3等]。

唐帅等人。 “探索用于基于上下文的句子表示学习的非对称编码器-解码器结构。” arXiv 预印本 arXiv:1710.10380 (2017)。 pdf
LiNalisnick、Eric 和 Padhraic Smyth。 “断杆变分自动编码器。”学习表征国际会议 (ICLR)。 2017.pdf
纳什、查理和克里斯·基·威廉姆斯。 “形状变分自动编码器：部分分割 3D 对象的深度生成模型。”计算机图形学论坛。卷。 36. 2017年第5期pdf

【讨论】：