Tensorflow/LSTM 机制：如何指定 LSTM 单元的第一个时间步的先前输出

Question

刚开始使用 TensorFlow 构建用于多类分类的 LSTM 网络

给定如下所示的结构：A RNN model 假设每个节点 A 代表 TensorFlow BasicLSTMcell。

根据网上一些流行的例子，训练的输入准备为[batch_size, timeStep_size, feature_size]

让我们假设 timeStep_size = 5, feature_size = 2, num_class= 4, 给定一个训练集：（虚拟数据）

t =     t0  t1  t2  t3  t4

x =   [ [1] [2] [2] [5] [2] ]
      [ [2] [3] [3] [1] [2] ]

y =   [ [0] [1] [1] [0] [0] ]
      [ [1] [0] [0] [0] [0] ]
      [ [0] [0] [0] [0] [1] ]
      [ [0] [0] [0] [1] [0] ]

按流行用法：

...
# 1-layer LSTM with n_hidden units.
rnn_cell = rnn.BasicLSTMCell(n_hidden)

# generate prediction
outputs, states = rnn.static_rnn(rnn_cell, x, dtype=tf.float32)

return tf.matmul(outputs[-1], weights['out']) + biases['out']

在我看来，LSTM 单元的训练并没有利用 y 的所有五个输出（y 在 t0 - t3）。与 output[-1] 相比，只有时间 t4 的 y 用于计算损失。

问题1：是不是LSTM自己计算/逼近y_t0，然后馈入t1计算y_t1，以此类推……直到计算出y_t4？

如果是这样的话，

问题 2：如果 t-1 的 y 非常重要怎么办？

例子：

t =     t-1 t0  t1  t2  t3  t4

x =   [ [1] [2] [2] [2] [2] [2]]
      [ [1] [2] [2] [2] [2] [2]]

y =   [ [0] [1] [1] [1] [1] [1]]
      [ [1] [0] [0] [0] [0] [0]]
      [ [0] [0] [0] [0] [0] [0]]
      [ [0] [0] [0] [0] [0] [0]]

VS：

t =     t-1 t0  t1  t2  t3  t4

x =   [ [3] [2] [2] [2] [2] [2]]
      [ [3] [2] [2] [2] [2] [2]]

y =   [ [0] [0] [0] [0] [0] [0]]
      [ [0] [0] [0] [0] [0] [0]]
      [ [1] [0] [0] [0] [0] [0]]
      [ [0] [1] [1] [1] [1] [1]]

这意味着即使从 t0 到 t4 的输入特征相同， 输出 y 不同，因为之前的输出 (y_t-1) 不同。

那么这种情况应该怎么处理呢？ TensorFlow在计算t0的输出时如何设置t-1的输出？

我想过增加timeStep_Size，但实际情况可能很大，所以我有点糊涂……

任何指针都非常感谢！

提前谢谢你。

==================更新============================= ==

回复：jdehesa，再次感谢。

一些额外的背景：我的目的是对一长串 x 进行分类，如下所示：

t =     t0  t1  t2  t3  t4  t5  t6  t7  ...
x =   [ [3] [2] [2] [2] [2] [2] [1] [2] [2] [2] [2] [2] ...]
      [ [3] [2] [2] [2] [2] [2] [1] [2] [2] [2] [2] [2] ...]

y =   [ c3  c2  c2  c2  c2  c2  c1  c4  c4  c4  c4  c4  ...]
Note: c1: class 1, c2: class2 c3: class 3, c4: class 4

这篇文章背后的主要困惑是手动分类有一些已知的规则。 以上面的虚拟数据为例，假设有规则

1. 如果前面的特征 x 是第 3 类 ([3, 3])，那么所有后面的 [2, 2] 都将是第 2 类，直到它到达第 1 类。

2. 如果前面的 x 是 1 类 ([1, 1])，那么后面的所有 [2, 2] 都将是 4 类，直到它到达 3 类。

在这种情况下，如果 LSTM 只看到与 t1 到 t4 相同的 [5 by 2] 特征向量 (x)，则网络将完全迷失在分类为 2 类或 4 类。 所以我的意思是，不仅 5 个时间步的这些特征很重要，前一个时间步的输出/标签也很重要。

所以重述问题：如果现在训练集是 t1 到 t5，那么除了 x [batch_size, t1:t5, 2] 之外，如何在 t0 处也包含标签/类 y。

以下是我对您的回答的回复。

考虑我使用 GRU 而不是 LSTM，其中单元输出和单元状态都由“h”表示，如 understandign LSTM。

1. 关于initial_state 参数：我刚刚发现dynamic_rnn 和static_rnn 采用了您指出的这个参数：D。如果我要解决刚才提到的问题，我可以在训练之前使用将之前的类/标签（t0 时的 y）分配给 initial_state 参数，而不是使用 zeros_state。

2. 我突然觉得我完全迷失了 LSTM 记忆的时间跨度。我一直认为内存的时间跨度仅受 timeStep_size 的限制。如果 timeStep_size = 5，网络最多只能召回 4 步，因为每次训练我们只提供 x 特征向量的 [5 x 2]。如果我错了，请纠正我。

再次感谢你

Answer 1

LSTM 单元或一般的 RNN 单元具有在处理每个时间步后更新的内部状态。显然，你不能无限地回到过去，所以你必须从某个时间点开始。一般约定是从一个充满零的单元状态开始；事实上，TensorFlow 中的 RNN 单元有一个 zero_state 方法，它为每个特定的单元类型和大小返回这种状态。如果你对这个起点不满意（例如，因为你已经处理了一半序列，现在你想处理另一半，在你原来的状态下继续），你可以传递一个 initial_state 参数给 @ 987654321@.

关于训练，我不确定 LSTM 单元最流行的用法是什么，但这完全取决于你。我处理的问题是每个时间样本都有一个标签，因此我的输出与输入的大小相同。但是，在许多情况下，您只需要整个序列的标签（例如“这句话是正/负”），因此您只需查看最后一个输出。无论如何，所有先前的输入当然也很重要，因为它们定义了最后一个单元状态，该状态与最后一个输入结合使用以确定最终输出。举个例子，如果你拿一个像“太酷了，伙计”这样的句子并逐字处理它，最后一个词“男人”可能不会告诉你它本身是一个积极的句子还是消极的句子，但在那一点上单元格处于非常确定这是一个肯定句的状态（也就是说，之后需要一个明显的否定输入才能使其产生“否定”输出）。

我不确定您对 t-1 的意思是什么...我的意思是，如果您的输入从 t0 开始并且您从未见过 t-1，那么您对此无能为力（例如，如果您只有输入“真的很喜欢这种食物”，但原来整个句子是“不太喜欢这种食物”，你会完全弄错）。但是，如果您确实有输入，那么网络将学会考虑它是否真的很重要。 LSTM 单元的全部意义在于它们能够记住过去很远的事情（即输入在内部状态的影响可以达到很长的时间跨度）。

更新：

关于您的额外 cmets。

• 当然，您可以使用任何您想要的输入状态。然而，即使使用 GRU，内部状态通常也不匹配输出标签。通常，您会在循环单元之后使用 sigmoid 或 softmax 激活，然后会产生与标签相当的输出。

• 关于时间跨度。使用具有小时间步长的输入将限制循环单元学习长期依赖关系（在较长序列中查找模式）的能力是正确的。正如我所提到的，如果您在下一次运行中将循环单元的最后状态作为初始状态提供，您可以“模拟”更长的时间步长。但是，无论你是否这样做，LSTM 单元只是“不记得”过去的事情并不准确。即使您以 5 的时间步长进行训练，如果您随后使用大小为 100 的序列运行网络，最后一个输入的输出将（可能）受到所有 99 个先前输入的影响；您根本无法说出它们的影响有多大，因为这是您在培训期间没有遇到的情况。