pytorch LSTM 将一系列特征向量映射到它们的标签

Question

目前我输入了形状为 (50, 25) 的 X，其中有 50 个特征向量，每个向量有 25 个维度。 X的数据例如如下：

X = [[0. 0. 0. ... 1. 1. 1.]
 [0. 0. 0. ... 1. 1. 1.]
 [0. 0. 0. ... 1. 1. 1.]
 ...
 [0. 0. 0. ... 1. 1. 1.]
 [0. 0. 0. ... 1. 1. 1.]
 [0. 0. 0. ... 1. 1. 1.]]

输出标签 y 是 [0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]，长度为 50。即每个特征向量都有一个标签，对应于 y 中的一个元素。

如何构建 pytorch LSTM，将输入对象重塑为 3 维，并正确解释输出对象？非常感谢您提前提供的帮助。

目前我有一个这样的 LSTM 模板，因为我的输入已经是数字，我想摆脱编码器/解码器部分，对吗？

class RNNModel(nn.Module):
    """Container module with an encoder, a recurrent module, and a decoder."""

    def __init__(self, rnn_type, ntoken, ninp, nhid, nlayers, dropout=0, tie_weights=False):
        super(RNNModel, self).__init__()
        self.drop = nn.Dropout(dropout)
        self.ntoken = ntoken 
        self.decoder = nn.Linear(nhid, self.ntoken)
        if rnn_type in ['LSTM', 'GRU']:
            self.rnn = getattr(nn, rnn_type)(ninp, nhid, nlayers, dropout=dropout)
        else:
            try:
                nonlinearity = {'RNN_TANH': 'tanh', 'RNN_RELU': 'relu'}[rnn_type]
            except KeyError:
                raise ValueError( """An invalid option for `--model` was supplied,
                                 options are ['LSTM', 'GRU', 'RNN_TANH' or 'RNN_RELU']""")
            self.rnn = nn.RNN(ninp, nhid, nlayers, nonlinearity=nonlinearity, dropout=dropout)

        self.init_weights()

        self.rnn_type = rnn_type
        self.nhid = nhid
        self.nlayers = nlayers

    def init_weights(self):
        initrange = 0.1
        nn.init.zeros_(self.decoder.weight)
        nn.init.uniform_(self.decoder.weight, -initrange, initrange)

    def forward(self, input, hidden):
        emb = self.drop(input)
        emb = emb.transpose(1, 0)

        output, hidden = self.rnn(emb, hidden) #output of shape (length, batchsize, nhid)
        output = self.drop(output)
        output = output[-1, :, :] #shape (batchsize, nhid)

        decoded = self.decoder(output) #shape (batchsize, ntoken)
        return F.log_softmax(decoded, dim=1), hidden 

    def init_hidden(self, bsz):
        weight = next(self.parameters())
        if self.rnn_type == 'LSTM':
            return (weight.new_zeros(self.nlayers, bsz, self.nhid),
                    weight.new_zeros(self.nlayers, bsz, self.nhid))
        else:
            return weight.new_zeros(self.nlayers, bsz, self.nhid)

目前我写的火车是

X = X.reshape((1, 50, 25))
hidden = self.model.init_hidden(1)
for iter in range(0, self.epochs):
    data = torch.from_numpy(X)
    target = torch.LongTensor(y.reshape((1, torch.LongTensor(y).size(0))))
    self.model.zero_grad()
    self.optimizer.zero_grad()
    hidden = self.repackage_hidden(hidden)
  
    output, hidden = self.model(data.float(), hidden)   
    loss = self.criterion(output, target)
    loss.backward() 
    torch.nn.utils.clip_grad_norm_(self.model.parameters(), 0.25) 
    self.optimizer.step()
    self.model.train() 

但我得到了错误：RuntimeError: multi-target not supported at /tmp/pip-req-build-4baxydiv/aten/src/THNN/generic/ClassNLLCriterion.c:22

Answer 1

rnn 的输出形式为（长度、批量大小、nhid），基于您的标签（每个样本 1 个数字）我假设您正在进行分类，所以通常我们会给分类器（self.decoder）的输出特征最后一个时间步。在这里，我将您的 forward 方法更改为此并得到适合您标签形状的形状 (batchsize, ntoken) 的输出。

def forward(self, input, hidden):
    emb = self.drop(self.encoder(input))
    emb = emb.transpose(1, 0) #(batchsize, length, ninp) => (length, batchsize, ninp)

    output, hidden = self.rnn(emb, hidden) #output of shape (length, batchsize, nhid)
    output = self.drop(output)
    output = output[-1, :, :] #shape (batchsize, nhid)

    decoded = self.decoder(output) #shape (batchsize, ntoken)
    return F.log_softmax(decoded, dim=1), hidden 

关于摆脱 self.encoder，它是一个嵌入层，它采用一组索引并将每个索引替换为一个向量。如果您的输入包括某些东西的索引（int / long），您可以使用它，否则（它不是索引，而是一些像温度一样的浮点数，......）您应该摆脱它（因为它是错误的）。对不起，如果我的英语令人困惑。