更长的 LSTM 预测答案

【问题标题】：Longer LSTM Prediction更长的 LSTM 预测
【发布时间】：2023-03-03 09:24:21
【问题描述】：

我正在使用 LSTM 将 5 个序列作为输入来预测另外 5 个。我想知道如何预测超过 5 个时间步。我认为它与 hidden_dim 有关，但我无法弄清楚。

这是我的代码

class LSTM(nn.Module):
    def __init__(self, seq_len=5, n_features=256, n_hidden=256, n_layers=1, output_size=1):
        super().__init__()
        self.n_features = n_features
        self.seq_len = seq_len
        self.n_hidden = n_hidden
        self.n_layers = n_layers
        
        self.l_lstm = nn.LSTM(input_size=self.n_features, hidden_size=self.n_hidden, num_layers=self.n_layers, batch_first=True)

        

    def init_hidden(self, batch_size):
        hidden_state = torch.zeros(self.n_layers,batch_size,self.n_hidden).to(device)
        cell_state = torch.zeros(self.n_layers,batch_size,self.n_hidden).to(device)
        self.hidden = (hidden_state, cell_state)
    
    def forward(self, x):        
        
        lstm_out, self.hidden = self.l_lstm(x,self.hidden)

        return lstm_out

如果有人知道如何扩展预测范围或者可以提出更好的 LSTM 编写方法，我将不胜感激。

【问题讨论】：

在你的 lstm 层之后添加一个带有步数的密集层
您好，请您提供一个示例。我不认为我完全遵循。

标签： python machine-learning pytorch lstm

【解决方案1】：

现在您正在向前运行 LSTM 5 个时间步，并返回每个时间步产生的隐藏状态。当您知道每个输入都需要一个输出时，通常会使用这种方法，例如在序列标签问题中（例如用词性标记句子中的每个单词）。

如果你想编码一个可变长度的序列，然后解码一个任意的、可能不同长度的序列（例如用于机器翻译），你需要更一般地查找sequence-to-sequence (seq2seq) 建模。这有点复杂，涉及两个 LSTM，一个用于编码输入序列，另一个用于解码输出序列（请参阅上面链接的 pytorch 教程中的 EncoderRNN 和 DecoderRNN 实现）。

基本思想是采取例如使用输入语句后 LSTM 的最终状态，然后使用该状态初始化一个单独的 LSTM 解码器，您可以从中进行自回归采样 - 换句话说，您生成一个新标记，将标记反馈回进入解码器，然后继续执行您指定的任意数量的步骤，或者直到 LSTM 对“句子结尾”标记进行采样（如果您已训练 LSTM 预测采样序列的结尾）。

【讨论】：