Transformer 官方发布的位置编码与原论文不同

Question

在原论文Attention is all you need中，位置编码定义为： pe

但是在Transformer's model_utils.py中，我发现第53行的公式不同。在论文中，sin和cos函数按偶数或单维交替出现，而它们在一半连续分别是维度。

Answer 1

你是对的，但我不认为这有什么不同。无论您将sin/cos 连接起来还是让它们交替出现在最终的向量中，使用位置编码的每个位置的表示都是唯一的。

只要编码是唯一的并且我们始终一致地生成编码，位置信息就会保留在模型中。