【发布时间】：2020-04-10 12:59:12
【问题描述】：
我正在关注这个关于变形金刚的博客
http://jalammar.github.io/illustrated-transformer/
我唯一不明白的是为什么需要一堆编码器或解码器。我知道多头注意力层捕获问题的不同表示空间。我不明白为什么需要垂直堆叠编码器和解码器。一个编码器/解码器层不能工作吗？
【问题讨论】：
标签： machine-learning deep-learning nlp transformer
【发布时间】：2020-04-10 12:59:12
【问题描述】：
堆栈层是任何深度学习架构强大的原因，使用单个编码器/解码器并注意无法捕获对整个语言进行建模所需的复杂性，也无法在语言翻译等复杂任务上进行高精度存档，使用编码器/解码器堆栈允许网络提取分层特征并对复杂问题进行建模。
【讨论】：
-
是不是像 CNN 中的层，在开始层检测低层特征，然后在高层层检测高层特征？
-
证明深度并不能真正证明需要 2 个不同的编码器/解码器堆栈，这是 imo 问题的重点