我正在尝试使用 PyTorch LSTM 训练一个简单的 2 层神经网络，但无法解释 PyTorch 文档。具体来说，我不太确定如何处理我的训练数据的形状。
我想要做的是通过小批量在一个非常大的数据集上训练我的网络，其中每个批次的长度为 100 个元素。每个数据元素将有 5 个特征。文档指出层的输入应该是形状（seq_len、batch_size、input_size）。我应该如何塑造输入？
我一直在关注这个帖子：https://discuss.pytorch.org/t/understanding-lstm-input/31110/3 如果我解释正确，每个小批量应该是形状（100、100、5）。但是在这种情况下，seq_len 和batch_size 有什么区别呢？另外，这是否意味着输入 LSTM 层的第一层应该有 5 个单元？
谢谢！
【问题讨论】：
标签： python machine-learning pytorch lstm
这是一个老问题，但由于它已经被查看了 80 多次没有回应，让我来破解它。
LSTM 网络用于预测序列。在 NLP 中，这将是一个单词序列；在经济学中，一系列经济指标；等等
第一个参数是这些序列的长度。如果你的序列数据是由句子组成的，那么“汤姆有一只又黑又丑的猫”是一个长度为 7 (seq_len) 的序列，每个单词一个，可能还有一个 8 表示句子的结尾。
当然，您可能会反对“如果我的序列长度不同怎么办？”这是一种常见的情况。
两种最常见的解决方案是：
用空元素填充序列。例如，如果你最长的句子有 15 个单词，那么将上面的句子编码为“[Tom] [has] [a] [black] [and] [ugly] [cat] [EOS] [] [] [] [] [] [] []"，其中 EOS 代表句子的结尾。突然，你所有的序列长度都变成了 15，这就解决了你的问题。一旦找到 [EOS] 代币，模型就会很快了解到它后面跟着无限序列的空代币 []，这种方法几乎不会对您的网络造成负担。
发送相同长度的小批量。例如，在所有句子上用 2 个词训练网络，然后用 3 个词，然后用 4 个词。当然，seq_len 会在每个小批量增加，每个小批量的大小会根据长度为 N 的序列的数量而变化你有你的数据。
两全其美的方法是将您的数据分成大小大致相等的小批量，按近似长度分组，并仅添加必要的填充。例如，如果您对长度为 6、7 和 8 的句子进行小批量处理，则长度为 8 的序列将不需要填充，而长度为 6 的序列将只需要 2。如果您有一个包含长度变化很大的序列的大型数据集，这是最好的方法。
不过，选项 1 是最简单（也是最懒惰）的方法，并且适用于小型数据集。
最后一件事...始终在末尾而不是开头填充数据。
希望对你有帮助。
【讨论】：