我们可以在编码器/解码器中同时使用上采样层和下采样层吗？

Question

我是自动编码器的新手。我见过的所有自动编码器通常都展示了一个下采样编码器，然后是一个上采样解码器，或者是一个上采样编码器，然后是一个下采样解码器。 现在，我想问一下，我们能否有一个同时包含上采样和下采样层的编码器，然后是一个具有编码器精确镜像层的解码器？ 例如，我们可以有以下自动编码器架构吗？

编码器：16 个神经元 - 200 个神经元 - 400 个神经元 - 200 个神经元 -4 个神经元（潜在表示）-解码器：200 个神经元 - 400 个神经元 - 200 个神经元 - 16 个神经元

这是一个有效的自动编码器吗？或者它是一个简单的串联神经网络？

Answer 1

我仍然认为这种架构是一种自动编码器，因为它是这样训练的。对于层大小的要求没有正式定义，除了输入和输出必须具有相同的维度。您还可以构建“超完备”自动编码器，其中潜在空间的维数大于输入的维数。

只要您将它用作自动编码器，这意味着您使用输入数据 x 进行训练以生成输出 x'，同时使用 L = ||x-x'||² 之类的东西进行惩罚，层的架构几乎是任意的。

在编码和解码中进行不同的放大和缩小是否有意义是另一个问题。