使用 LSTM 循环网络的 Pybrain 时间序列预测答案

【问题标题】：Pybrain time series prediction using LSTM recurrent nets使用 LSTM 循环网络的 Pybrain 时间序列预测
【发布时间】：2014-11-16 01:20:10
【问题描述】：

我有一个与使用 pybrain 进行时间序列回归有关的问题。我打算在 pybrain 中使用 LSTM 层来训练和预测时间序列。

我在下面的链接中找到了一个示例代码

Request for example: Recurrent neural network for predicting next value in a sequence

在上面的示例中，网络能够在训练后预测序列。但问题是，网络通过一次性将其输入到输入层来接收所有顺序数据。例如，如果训练数据每个有 10 个特征，则这 10 个特征将同时馈送到 10 个输入节点。

根据我的理解，这不再是时间序列预测，对吗？由于每个特征输入网络的时间没有区别？如果我在这方面错了，请纠正我。

因此，我想要实现的是一个只有一个输入节点和一个输出节点的循环网络。输入节点是所有时间序列数据将在不同时间步按顺序输入的地方。网络将被训练以在输出节点重现输入。

您能否建议或指导我构建我提到的网络？非常感谢您。

【问题讨论】：

标签： python neural-network time-series prediction pybrain

【解决方案1】：

我已经用 Theano 测试了 LSTM 预测一些时间序列。我发现对于一些平滑的曲线，可以正确预测。然而对于一些曲折的曲线。很难预测。详细文章如下： Predict Time Sequence with LSTM

预测结果如下：
_{（来源：fuzihao.org）}

【讨论】：

嘿 maple，我读了你的代码，我想知道它是否公开可用？我试图将这些部分放在您的网站上，但仍然不确定某些变量。你能告诉我这件事吗？谢谢
嗨，@nimafl，代码不公开，因为我没有修剪代码。现在只是一团面条。如果有什么让你困惑的地方，请在博客下方留言，我会尽力解释。
谢谢。我一定会在那里发帖寻求帮助。

【解决方案2】：

您可以训练具有单个输入节点和单个输出节点的 LSTM 网络来进行时间序列预测，如下所示：

首先，作为一个好习惯，让我们使用 Python3 的打印功能：

from __future__ import print_function

然后，做一个简单的时间序列：

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2]

现在将这个时间序列放入一个有监督的数据集中，其中每个样本的目标是下一个样本：

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

构建一个具有 1 个输入节点、5 个 LSTM 单元和 1 个输出节点的简单 LSTM 网络：

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

训练网络：

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

绘制错误图（请注意，在这个简单的玩具示例中，我们在同一个数据集上进行测试和训练，这当然不是您在实际项目中所做的！）：

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

现在让网络预测下一个样本：

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

（以上代码基于example_rnn.py和PyBrain documentation的示例）

【讨论】：

我能否要求对训练步骤进行一些说明。训练阶段的 CYCLES 和 EPOCHS_PER_CYCLE 部分究竟是做什么的？另外，它与仅训练 x 个 epoch 有什么不同？
@A.Devereux 它正在保存错误。我认为作者希望每个 EPOCHS_PER_CYCLE 保存错误，在这种情况下，它比所有错误小 5 倍。

【解决方案3】：

我认为这里是一个更好（更简单/更清晰）的学习示例，位于页面底部：

http://pybrain.org/docs/tutorial/netmodcon.html

基本上，一旦如图所示设置，它将自动跟踪输入的过去历史记录（直到并且除非您点击重置）。来自文档：

http://pybrain.org/docs/api/structure/networks.html?highlight=recurrentnetwork#pybrain.structure.networks.RecurrentNetwork

“在调用 .reset() 之前，网络会跟踪所有先前的输入，从而允许使用循环连接和及时回溯的层。”

所以是的，不需要每次都将所有过去的输入重新呈现给网络。

【讨论】：