Transformer DNN 模型的基于时间序列的数据的位置编码

Question

在几篇学术论文中，研究人员使用以下位置编码来表示序列中元素的位置，无论是基于时间序列的序列还是用于 NLP 目的的句子中的单词。

我的问题是在数据被馈送到深度神经网络（在我的例子中是变压器网络）之前，定位是如何实际应用于数据的：

• 位置值是否直接添加到序列中元素的实际值（或单词表示值）？还是它们被连接了？位置嵌入是数据预处理阶段的一部分吗？
• Tensorflow/Keras MultiHeadAttention 层实际上是否已经包含一个负责位置编码的Embeeding 层？还是不行？
• 数据的规范化怎么样？是否仅对实际元素值进行归一化，然后将位置编码添加到该归一化值？还是将位置编码值添加到元素的原始值中，并将结果值归一化？

我对实际实现细节感兴趣，而不是位置编码的概念部分，因为我已经阅读了大多数关于位置编码的学术论文。不幸的是，大多数学术论文都没有详细描述位置编码在什么阶段以及如何精确地应用于数据结构。

谢谢！！！

Answer 1

位置编码只是让模型区分两个相同但出现在序列中不同位置的元素（单词）的方法。

在 LM 语言模型中应用嵌入之后，我们添加 PE 以添加有关每个单词位置的信息。

位置值是否直接添加到序列中元素的实际值（或单词表示值）？还是它们被连接了？位置嵌入是数据预处理阶段的一部分吗？

是的，PE 值只是直接添加到实际值（嵌入在 LM 中）。这将导致出现在序列开头的单词a的嵌入向量将与出现在序列中间的相同单词的嵌入向量不同。不，PE 不是数据预处理阶段的一部分。

这是一个代码示例：

class PositionalEncodingLayer(nn.Module):
    
    def __init__(self, d_model, max_len=100):
        super(PositionalEncodingLayer, self).__init__()
        self.d_model = d_model
        self.max_len = max_len
    
    def get_angles(self, positions, indexes):
        d_model_tensor = torch.FloatTensor([[self.d_model]]).to(positions.device)
        angle_rates = torch.pow(10000, (2 * (indexes // 2)) / d_model_tensor)
        return positions / angle_rates

    def forward(self, input_sequences):
        """
        :param Tensor[batch_size, seq_len] input_sequences
        :return Tensor[batch_size, seq_len, d_model] position_encoding
        """
        positions = torch.arange(input_sequences.size(1)).unsqueeze(1).to(input_sequences.device) # [seq_len, 1]
        indexes = torch.arange(self.d_model).unsqueeze(0).to(input_sequences.device) # [1, d_model]
        angles = self.get_angles(positions, indexes) # [seq_len, d_model]
        angles[:, 0::2] = torch.sin(angles[:, 0::2]) # apply sin to even indices in the tensor; 2i
        angles[:, 1::2] = torch.cos(angles[:, 1::2]) # apply cos to odd indices in the tensor; 2i
        position_encoding = angles.unsqueeze(0).repeat(input_sequences.size(0), 1, 1) # [batch_size, seq_len, d_model]
        return position_encoding

class InputEmbeddingAndPositionalEncodingLayer(nn.Module):

    def __init__(self, vocab_size, max_len, d_model, dropout):
        super(InputEmbeddingAndPositionalEncodingLayer, self).__init__()
        self.vocab_size = vocab_size
        self.max_len = max_len
        self.d_model = d_model
        self.dropout = nn.Dropout(p=dropout)
        self.token_embedding = nn.Embedding(vocab_size, d_model)
        self.position_encoding = PositionalEncodingLayer(d_model=d_model, max_len=max_len)

    def forward(self, sequences):
        """
        :param Tensor[batch_size, seq_len] sequences
        :return Tensor[batch_size, seq_len, d_model]
        """
        token_embedded = self.token_embedding(sequences) # [batch_size, seq_len, d_model]
        position_encoded = self.position_encoding(sequences) # [batch_size, seq_len, d_model]
        return self.dropout(token_embedded) + position_encoded # [batch_size, seq_len, d_model]

Tensorflow/Keras MultiHeadAttention 层实际上是否已经包含一个负责位置编码的嵌入层？还是不行？

不，您必须自己构建 PE。

数据的规范化呢？是否仅对实际元素值进行归一化，然后将位置编码添加到该归一化值？还是将位置编码值添加到元素的原始值中，并将结果值归一化？

标准化部分由您自行决定。你做你想做的。但是你应该应用标准化。此外，PE 被添加到标准化值而不是实际值。