【问题标题】:Understanding Keras LSTMs了解 Keras LSTM
【发布时间】:2016-12-07 11:38:19
【问题描述】:

我试图调和我对 LSTM 的理解,并在 Keras 中实现的this post by Christopher Olah 中指出。我正在关注 Keras 教程的 blog written by Jason Brownlee。我主要困惑的是,

  1. 将数据系列重塑为[samples, time steps, features] 和,
  2. 有状态的 LSTM

参考下面粘贴的代码,让我们专注于上面两个问题:

# reshape into X=t and Y=t+1
look_back = 3
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back)

# reshape input to be [samples, time steps, features]
trainX = numpy.reshape(trainX, (trainX.shape[0], look_back, 1))
testX = numpy.reshape(testX, (testX.shape[0], look_back, 1))
########################
# The IMPORTANT BIT
##########################
# create and fit the LSTM network
batch_size = 1
model = Sequential()
model.add(LSTM(4, batch_input_shape=(batch_size, look_back, 1), stateful=True))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
for i in range(100):
    model.fit(trainX, trainY, nb_epoch=1, batch_size=batch_size, verbose=2, shuffle=False)
    model.reset_states()

注意:create_dataset 接受一个长度为 N 的序列并返回一个 N-look_back 数组,其中每个元素都是一个 look_back 长度序列。

什么是时间步长和特征?

可以看出 TrainX 是一个 3-D 数组,其中 Time_steps 和 Feature 分别是最后两个维度(在此特定代码中为 3 和 1)。关于下图,这是否意味着我们正在考虑many to one 的情况,其中粉色框的数量为3?或者它的字面意思是链长是 3(即只考虑 3 个绿色框)。

当我们考虑多元序列时,特征参数是否变得相关?例如同时建模两只金融股?

有状态 LSTM

有状态 LSTM 是否意味着我们在批次运行之间保存单元记忆值?如果是这种情况,batch_size 是 1,并且在训练运行之间会重置内存,那么说它是有状态的有什么意义。我猜这与训练数据没有被洗牌有关,但我不确定如何。

有什么想法吗? 图片参考:http://karpathy.github.io/2015/05/21/rnn-effectiveness/

编辑 1:

对于@van 关于红色和绿色框相等的评论有点困惑。所以只是为了确认一下,以下 API 调用是否对应于展开的图表?特别注意第二张图(batch_size 是任意选择的。):

编辑 2:

上过 Udacity 的深度学习课程的人,还对 time_step 参数感到困惑,看看下面的讨论:https://discussions.udacity.com/t/rnn-lstm-use-implementation/163169

更新:

原来model.add(TimeDistributed(Dense(vocab_len))) 是我要找的。这是一个例子:https://github.com/sachinruk/ShakespeareBot

更新2:

我在这里总结了我对 LSTM 的大部分理解:https://www.youtube.com/watch?v=ywinX5wgdEU

【问题讨论】:

  • 第一张照片应该是(batch_size, 5, 1);第二张照片应该是 (batch_size, 4, 3) (如果没有以下序列)。为什么输出仍然是“X”?应该是“Y”吗?
  • 这里我假设 X_1, X_2 ... X_6 是一个数字。三个数 (X_1, X_2, X_3) 构成一个形状为 (3,) 的向量。一个数字 (X_1) 构成一个形状为 (1,) 的向量。
  • @Van,你的假设是正确的。这很有趣,所以基本上模型不会学习超出 time_steps 数量的模式。因此,如果我有一个长度为 1000 的时间序列,并且每 100 天可以直观地看到一个模式,我应该使 time_steps 参数至少为 100。这是一个正确的观察吗?
  • 是的。如果您每天可以收集 3 个相关特征,那么您可以将特征大小设置为 3,就像在第二张照片中所做的那样。在这种情况下,输入形状将是 (batch_size, 100, 3)。
  • 回答您的第一个问题是因为我采用的是单个时间序列。例如股票价格,所以 X 和 Y 来自同一个系列。

标签: python deep-learning keras lstm


【解决方案1】:

作为已接受答案的补充,此答案显示了 keras 行为以及如何实现每张图片。

一般 Keras 行为

标准的 keras 内部处理总是多对多,如下图所示(这里我用了features=2,压力和温度,仅作为示例):

在这张图片中,我将步数增加到 5,以避免与其他维度混淆。

对于这个例子:

  • 我们有N个油箱
  • 我们花了 5 个小时每小时采取措施(时间步长)
  • 我们测量了两个特征:
    • 压力P
    • 温度T

我们的输入数组应该是(N,5,2)

        [     Step1      Step2      Step3      Step4      Step5
Tank A:    [[Pa1,Ta1], [Pa2,Ta2], [Pa3,Ta3], [Pa4,Ta4], [Pa5,Ta5]],
Tank B:    [[Pb1,Tb1], [Pb2,Tb2], [Pb3,Tb3], [Pb4,Tb4], [Pb5,Tb5]],
  ....
Tank N:    [[Pn1,Tn1], [Pn2,Tn2], [Pn3,Tn3], [Pn4,Tn4], [Pn5,Tn5]],
        ]

滑动窗口的输入

通常,LSTM 层应该处理整个序列。划分窗口可能不是最好的主意。该层具有关于序列在前进时如何演变的内部状态。窗口消除了学习长序列的可能性,将所有序列限制在窗口大小。

在 windows 中,每个窗口都是一个长的原始序列的一部分,但在 Keras 中,它们将被视为一个独立的序列:

        [     Step1    Step2    Step3    Step4    Step5
Window  A:  [[P1,T1], [P2,T2], [P3,T3], [P4,T4], [P5,T5]],
Window  B:  [[P2,T2], [P3,T3], [P4,T4], [P5,T5], [P6,T6]],
Window  C:  [[P3,T3], [P4,T4], [P5,T5], [P6,T6], [P7,T7]],
  ....
        ]

请注意,在这种情况下,您最初只有一个序列,但您将其划分为多个序列以创建窗口。

“什么是序列”的概念是抽象的。重要的部分是:

  • 您可以拥有包含许多单独序列的批次
  • 使序列成为序列的原因在于它们按步骤(通常是时间步骤)演化

用“单层”实现每个案例

达到标准多对多:

你可以通过一个简单的 LSTM 层实现多对多,使用return_sequences=True

outputs = LSTM(units, return_sequences=True)(inputs)

#output_shape -> (batch_size, steps, units)

实现多对一:

使用完全相同的层,keras 会做完全相同的内部预处理,但是当你使用return_sequences=False(或者干脆忽略这个参数)时,keras 会自动丢弃上一步之前的步骤:

outputs = LSTM(units)(inputs)

#output_shape -> (batch_size, units) --> steps were discarded, only the last was returned

实现一对多

现在,仅 keras LSTM 层不支持此功能。您将必须创建自己的策略来增加步骤。有两种很好的方法:

  • 通过重复张量创建一个恒定的多步输入
  • 使用stateful=True 循环获取一个步骤的输出并将其作为下一步的输入(需要output_features == input_features

带重复向量的一对多

为了适应 keras 标准行为,我们需要分步输入,因此,我们只需按照我们想要的长度重复输入:

outputs = RepeatVector(steps)(inputs) #where inputs is (batch,features)
outputs = LSTM(units,return_sequences=True)(outputs)

#output_shape -> (batch_size, steps, units)

了解有状态 = True

现在是stateful=True 的一种可能用法(除了避免一次加载无法容纳计算机内存的数据)

有状态允许我们分阶段输入序列的“部分”。区别在于:

  • stateful=False 中,第二批包含全新的序列,独立于第一批
  • stateful=True 中,第二批继续第一批,扩展了相同的序列。

这就像在窗口中划分序列一样,主要有以下两个区别:

  • 这些窗口不重叠!!
  • stateful=True 将看到这些窗口连接为一个长序列

stateful=True 中,每个新批次都将被解释为继续上一个批次(直到您调用model.reset_states())。

  • 批次 2 中的序列 1 将继续批次 1 中的序列 1。
  • 批次 2 中的序列 2 将继续批次 1 中的序列 2。
  • 批次 2 中的序列 n 将继续批次 1 中的序列 n。

输入示例,第 1 批包含第 1 步和第 2 步,第 2 批包含第 3 到第 5 步:

                   BATCH 1                           BATCH 2
        [     Step1      Step2        |    [    Step3      Step4      Step5
Tank A:    [[Pa1,Ta1], [Pa2,Ta2],     |       [Pa3,Ta3], [Pa4,Ta4], [Pa5,Ta5]],
Tank B:    [[Pb1,Tb1], [Pb2,Tb2],     |       [Pb3,Tb3], [Pb4,Tb4], [Pb5,Tb5]],
  ....                                |
Tank N:    [[Pn1,Tn1], [Pn2,Tn2],     |       [Pn3,Tn3], [Pn4,Tn4], [Pn5,Tn5]],
        ]                                  ]

注意第 1 批和第 2 批中坦克的对齐方式!这就是我们需要shuffle=False 的原因(当然,除非我们只使用一个序列)。

您可以无限地拥有任意数量的批次。 (对于每个批次的可变长度,请使用input_shape=(None,features)

stateful=True 一对多

对于我们这里的例子,我们将只使用每批 1 个步骤,因为我们希望获得一个输出步骤并将其作为输入。

请注意,图片中的行为不是“由”stateful=True 引起的。我们将在下面的手动循环中强制执行该行为。在这个例子中,stateful=True 是“允许”我们停止序列,操纵我们想要的东西,并从我们停止的地方继续。

老实说,对于这种情况,重复方法可能是更好的选择。但由于我们正在调查stateful=True,这是一个很好的例子。使用它的最佳方式是下一个“多对多”案例。

层:

outputs = LSTM(units=features, 
               stateful=True, 
               return_sequences=True, #just to keep a nice output shape even with length 1
               input_shape=(None,features))(inputs) 
    #units = features because we want to use the outputs as inputs
    #None because we want variable length

#output_shape -> (batch_size, steps, units) 

现在,我们将需要一个手动循环来进行预测:

input_data = someDataWithShape((batch, 1, features))

#important, we're starting new sequences, not continuing old ones:
model.reset_states()

output_sequence = []
last_step = input_data
for i in steps_to_predict:

    new_step = model.predict(last_step)
    output_sequence.append(new_step)
    last_step = new_step

 #end of the sequences
 model.reset_states()

stateful=True 的多对多

现在,在这里,我们得到了一个非常好的应用程序:给定一个输入序列,尝试预测它未来的未知步骤。

我们使用与上述“一对多”相同的方法,不同之处在于:

  • 我们将使用序列本身作为目标数据,领先一步
  • 我们知道部分序列(因此我们丢弃这部分结果)。

层(同上):

outputs = LSTM(units=features, 
               stateful=True, 
               return_sequences=True, 
               input_shape=(None,features))(inputs) 
    #units = features because we want to use the outputs as inputs
    #None because we want variable length

#output_shape -> (batch_size, steps, units) 

培训:

我们将训练我们的模型来预测序列的下一步:

totalSequences = someSequencesShaped((batch, steps, features))
    #batch size is usually 1 in these cases (often you have only one Tank in the example)

X = totalSequences[:,:-1] #the entire known sequence, except the last step
Y = totalSequences[:,1:] #one step ahead of X

#loop for resetting states at the start/end of the sequences:
for epoch in range(epochs):
    model.reset_states()
    model.train_on_batch(X,Y)

预测:

我们预测的第一阶段涉及“调整状态”。这就是我们要再次预测整个序列的原因,即使我们已经知道其中的这一部分:

model.reset_states() #starting a new sequence
predicted = model.predict(totalSequences)
firstNewStep = predicted[:,-1:] #the last step of the predictions is the first future step

现在我们像一对多的情况一样进入循环。但是不要在这里重置状态!。我们希望模型知道它在序列的哪一步(并且由于我们刚刚在上面所做的预测,它知道它处于新的第一步)

output_sequence = [firstNewStep]
last_step = firstNewStep
for i in steps_to_predict:

    new_step = model.predict(last_step)
    output_sequence.append(new_step)
    last_step = new_step

 #end of the sequences
 model.reset_states()

这些答案和文件中使用了这种方法:

实现复杂的配置

在上面的所有示例中,我都展示了“一层”的行为。

当然,您可以将许多层堆叠在一起,不必全部遵循相同的模式,然后创建自己的模型。

一个有趣的例子是“自动编码器”,它有一个“多对一编码器”,后跟一个“一对多”解码器:

编码器:

inputs = Input((steps,features))

#a few many to many layers:
outputs = LSTM(hidden1,return_sequences=True)(inputs)
outputs = LSTM(hidden2,return_sequences=True)(outputs)    

#many to one layer:
outputs = LSTM(hidden3)(outputs)

encoder = Model(inputs,outputs)

解码器:

使用“重复”方法;

inputs = Input((hidden3,))

#repeat to make one to many:
outputs = RepeatVector(steps)(inputs)

#a few many to many layers:
outputs = LSTM(hidden4,return_sequences=True)(outputs)

#last layer
outputs = LSTM(features,return_sequences=True)(outputs)

decoder = Model(inputs,outputs)

自动编码器:

inputs = Input((steps,features))
outputs = encoder(inputs)
outputs = decoder(outputs)

autoencoder = Model(inputs,outputs)

fit(X,X)一起训练

补充说明

如果您想了解有关如何在 LSTM 中计算步数的详细信息,或者有关上述 stateful=True 案例的详细信息,您可以在此答案中阅读更多信息:Doubts regarding `Understanding Keras LSTMs`

【讨论】:

  • 非常有趣的有状态的使用输出作为输入。作为附加说明,另一种方法是使用功能性 Keras API(就像您在这里所做的那样,尽管我相信您可以使用顺序 API),并且只需在每个时间步重用相同的 LSTM 单元,同时将结果状态和输出从单元格传递给自身。 IE。 my_cell = LSTM(num_output_features_per_timestep, return_state=True),后跟a, _, c = my_cell(output_of_previous_time_step, initial_states=[a, c])的循环
  • 单元和长度是完全独立的值。没有一张图片代表“细胞”的数量。它们都是为了“长度”。
  • @DanielMöller 我知道有点晚了,但你的回答确实引起了我的注意。你的观点打破了我对 LSTM 批次的理解的一切。您提供了 N 个坦克、五个步骤和两个特征的示例。我相信,如果批次是例如两个,这意味着两个样本(具有 5 步 2 特征的坦克)将被输入网络,然后将调整权重。但如果我理解正确,您说第 2 批意味着样本的时间步长将被划分为 2,所有样本的前半部分将被提供给 LSTM-> 权重更新,然后是第二个。
  • 是的。在有状态 = True 时,第 1 批 = 样本组,更新。然后批次 2 = 同一组样本的更多步骤,更新。
  • 油箱的好例子!
【解决方案2】:

首先,你选择好的教程(1,2)开始。

Time-step 的含义:X.shape(描述数据形状)中的Time-steps==3 表示有三个粉色框。由于在 Keras 中每一步都需要输入,因此绿色框的数量通常应该等于红色框的数量。除非你破解结构。

多对多 vs. 多对一:在 keras 中,初始化 LSTMGRUSimpleRNN 时有一个 return_sequences 参数。当return_sequencesFalse(默认)时,如图所示为多对一。它的返回形状是(batch_size, hidden_unit_length),代表最后一个状态。当return_sequencesTrue 时,则为多对多。它的返回形状是(batch_size, time_step, hidden_unit_length)

特征参数是否相关:特征参数表示“你的红框有多大”或每一步的输入维度是多少。如果您想从 8 种市场信息中进行预测,那么您可以使用 feature==8 生成数据。

有状态:您可以查找the source code。初始化状态时,如果stateful==True,则将上次训练的状态作为初始状态,否则生成新状态。我还没有打开stateful。但是,我不同意 batch_sizestateful==True 时只能为 1。

目前,您使用收集的数据生成数据。想象您的股票信息以流的形式出现,而不是等待一天来收集所有顺序,您希望在使用网络进行训练/预测时生成输入数据在线。如果您有 400 只股票共享同一个网络,那么您可以设置batch_size==400

【讨论】:

  • 有点困惑为什么红色和绿色框必须相同。你能看看我所做的编辑(主要是新图片)并发表评论吗?
  • 确实如此。查看文档:stateful: Boolean (default False). If True, the last state for each sample at index i in a batch will be used as initial state for the sample of index i in the following batch.
  • @Van 如果我有一个多元时间序列,我还应该使用lookback = 1吗?
  • 为什么输出空间(32)的LSTM维数与神经元(LSTM细胞)的数量不同?
  • stateful=True的补充:批量大小可以是任何你喜欢的,但你必须坚持下去。如果您使用批量大小为 5 构建模型,则所有 fit()predict() 和相关方法都需要批量 5。但是请注意,此状态不会与 model.save() 一起保存,这似乎是不可取的。但是,如果需要,您可以手动将状态添加到 hdf5 文件。但实际上,这允许您通过保存和重新加载模型来更改批量大小。
【解决方案3】:

当您在 RNN 的最后一层中有 return_sequences 时,您不能使用简单的 Dense 层,而是使用 TimeDistributed。

这是一段可能对其他人有帮助的示例代码。

words = keras.layers.Input(batch_shape=(None, self.maxSequenceLength), name = "input")

    # Build a matrix of size vocabularySize x EmbeddingDimension 
    # where each row corresponds to a "word embedding" vector.
    # This layer will convert replace each word-id with a word-vector of size Embedding Dimension.
    embeddings = keras.layers.embeddings.Embedding(self.vocabularySize, self.EmbeddingDimension,
        name = "embeddings")(words)
    # Pass the word-vectors to the LSTM layer.
    # We are setting the hidden-state size to 512.
    # The output will be batchSize x maxSequenceLength x hiddenStateSize
    hiddenStates = keras.layers.GRU(512, return_sequences = True, 
                                        input_shape=(self.maxSequenceLength,
                                        self.EmbeddingDimension),
                                        name = "rnn")(embeddings)
    hiddenStates2 = keras.layers.GRU(128, return_sequences = True, 
                                        input_shape=(self.maxSequenceLength, self.EmbeddingDimension),
                                        name = "rnn2")(hiddenStates)

    denseOutput = TimeDistributed(keras.layers.Dense(self.vocabularySize), 
        name = "linear")(hiddenStates2)
    predictions = TimeDistributed(keras.layers.Activation("softmax"), 
        name = "softmax")(denseOutput)  

    # Build the computational graph by specifying the input, and output of the network.
    model = keras.models.Model(input = words, output = predictions)
    # model.compile(loss='kullback_leibler_divergence', \
    model.compile(loss='sparse_categorical_crossentropy', \
        optimizer = keras.optimizers.Adam(lr=0.009, \
            beta_1=0.9,\
            beta_2=0.999, \
            epsilon=None, \
            decay=0.01, \
            amsgrad=False))

【讨论】:

    【解决方案4】:

    更多详情请参阅此博客Animated RNN, LSTM and GRU

    下图让你更好地了解 LSTM。这是一个 LSTM 单元。

    如您所见,X 有 3 个features(绿色圆圈),所以这个单元格的输入是一个维度为 3 的向量,隐藏状态有 2 个units(红色圆圈),所以这个单元格的输出(以及cell state) 是一个维度为 2 的向量。

    一个LSTM层有3个时间步(3个LSTM单元)的例子如下图所示:

    ** 一个模型可以有多个 LSTM 层。

    现在我再次使用 Daniel Möller 的例子来更好地理解: 我们有10个油箱。对于它们中的每一个,我们测量 2 个特征:温度、压力,每隔一小时测量 5 次。 现在的参数是:

    • batch_size = 一次前向/后向传递中使用的样本数(默认值 = 32)--> 例如,如果您有 1000 个样本并且您将 batch_size 设置为 100,那么模型将需要 10 次迭代通过网络(1 epoch)将所有样本传递一次。批处理大小越大,您需要的内存空间就越多。由于本例中的样本数量较少,我们认为 batch_size 等于 all of samples = 10
    • 时间步数 = 5
    • 功能 = 2
    • units = 它是一个正整数,决定了隐藏状态和单元状态的维度,也就是传递给下一个 LSTM 单元的参数数量。它可以根据特征和时间步任意或凭经验选择。使用更多单位将导致更高的准确性和更多的计算时间。但这可能会导致过度拟合。
    • input_shape = (batch_size, timesteps, features) = (10,5,2)
    • 输出形状
      • (batch_size, timesteps, units) if return_sequences=True
      • (batch_size,单位)如果 return_sequences=False

    【讨论】:

      猜你喜欢
      • 2018-04-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-11-29
      • 1970-01-01
      • 2018-09-16
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多