如何在 TensorFlow 中处理具有可变长度序列的批次？答案

【问题标题】：How to deal with batches with variable-length sequences in TensorFlow?如何在 TensorFlow 中处理具有可变长度序列的批次？
【发布时间】：2016-04-12 17:26:19
【问题描述】：

我尝试使用 RNN（特别是 LSTM）进行序列预测。但是，我遇到了可变序列长度的问题。例如，

sent_1 = "I am flying to Dubain"
sent_2 = "I was traveling from US to Dubai"

我正在尝试使用基于 Benchmark for building a PTB LSTM model 的简单 RNN 预测当前单词之后的下一个单词。

但是，num_steps 参数（用于展开到先前的隐藏状态）在每个 Tensorflow 的 epoch 中应该保持不变。基本上，批处理句子是不可能的，因为句子的长度不同。

 # inputs = [tf.squeeze(input_, [1])
 #           for input_ in tf.split(1, num_steps, inputs)]
 # outputs, states = rnn.rnn(cell, inputs, initial_state=self._initial_state)

在这里，num_steps 需要在我的情况下为每个句子进行更改。我尝试了几种 hack，但似乎没有任何效果。

【问题讨论】：

链接需要谷歌账户才能阅读。

标签： python tensorflow lstm recurrent-neural-network

【解决方案1】：

您可以使用以下描述的分桶和填充的想法：

Sequence-to-Sequence Models

另外，创建RNN网络的rnn函数接受参数sequence_length。

例如，您可以创建相同大小的句子桶，用必要数量的零填充它们，或者用代表零字的占位符填充它们，然后将它们与 seq_length = len(zero_words) 一起提供。

seq_length = tf.placeholder(tf.int32)
outputs, states = rnn.rnn(cell, inputs, initial_state=initial_state, sequence_length=seq_length)

sess = tf.Session()
feed = {
    seq_length: 20,
    #other feeds
}
sess.run(outputs, feed_dict=feed)

也看看这个 reddit 线程：

Tensorflow basic RNN example with 'variable length' sequences

【讨论】：

您是否使用零细化填充句子（或较大的文本块）会导致梯度消失问题？举个例子，如果我们最长的句子有 1000 个单词，而其他大多数只有大约 100 个单词，你认为输入中的大量零会导致梯度消失吗？
@MikeKhan，这是一个合理的担忧。解决此问题的一种方法是将您的数据分批成统一长度的批次，因为 timesteps 参数不需要在批次之间保持统一。

【解决方案2】：

您可以改用dynamic_rnn 并通过将数组传递给sequence_length 参数来指定每个序列的长度，即使在一个批次中也是如此。示例如下：

def length(sequence):
    used = tf.sign(tf.reduce_max(tf.abs(sequence), reduction_indices=2))
    length = tf.reduce_sum(used, reduction_indices=1)
    length = tf.cast(length, tf.int32)
    return length

from tensorflow.nn.rnn_cell import GRUCell

max_length = 100
frame_size = 64
num_hidden = 200

sequence = tf.placeholder(tf.float32, [None, max_length, frame_size])
output, state = tf.nn.dynamic_rnn(
    GRUCell(num_hidden),
    sequence,
    dtype=tf.float32,
    sequence_length=length(sequence),
)

代码取自关于该主题的perfect article，也请查看。

更新：dynamic_rnn 与 rnn 上的另一个 great post 你可以找到

【讨论】：

这里当我们得到不同大小的 seq2seq 时会发生什么？ lstm 被填充到最大的一个吗？
在这种情况下不会发生填充，因为我们明确地将每个序列的长度传递给函数
此函数仅在序列不包含所有元素为零的帧时有效

【解决方案3】：

您可以使用

中描述的分桶和填充的想法

Sequence-to-Sequence Models

创建RNN网络的rnn函数也接受参数sequence_length。

例如，您可以创建相同大小的句子桶，用必要数量的零或代表零字的占位符填充它们，然后将它们与 seq_length = len(zero_words) 一起提供。

seq_length = tf.placeholder(tf.int32)
outputs, states = rnn.rnn(cell, inputs,initial_state=initial_state,sequence_length=seq_length)

sess = tf.Session()
feed = {
seq_lenght: 20,
#other feeds
       }
sess.run(outputs, feed_dict=feed)

这里，最重要的是，如果你想利用一个句子获得的状态作为下一个句子的状态，当你提供sequence_length时，（假设是20，填充后的句子是50） .您想要在第 20 个时间步获得的状态。为此，做

tf.pack(states)

在那次通话之后

for i in range(len(sentences)):
state_mat   = session.run([states],{
            m.input_data: x,m.targets: y,m.initial_state: state,     m.early_stop:early_stop })
state = state_mat[early_stop-1,:,:]

【讨论】：

【解决方案4】：

您可以限制输入序列的最大长度，将较短的序列填充到该长度，记录每个序列的长度并使用 tf.nn.dynamic_rnn 。它像往常一样处理输入序列，但在序列的最后一个元素（由seq_length 指示）之后，它只是复制单元状态，并输出零张量。

【讨论】：

在推理过程中是否可以对超过最大序列长度的句子进行推理？
@SonalGupta - 你能说得更具体些吗？
@SonalGupta 是的。在干扰期间，一次只输入一个时间步长，即您只展开一个时间步长的 RNN。
@Seja Nair：抱歉，我的问题中有一个错字：“在训练期间是否可以推断出超过最大序列长度的句子？”。更具体地说：stackoverflow.com/questions/39881639/…
@tnq177：这不是说它是一个顺序模型吗？

【解决方案5】：

很抱歉发布一个死问题，但我刚刚提交了一个 PR 以获得更好的解决方案。 dynamic_rnn 非常灵活，但速度极慢。如果它是您唯一的选择，它会起作用，但 CuDNN 更快。此 PR 为 CuDNNLSTM 添加了对可变长度的支持，因此您有望很快能够使用它。

您需要按长度降序对序列进行排序。然后你可以pack_sequence，运行你的RNN，然后unpack_sequence。

https://github.com/tensorflow/tensorflow/pull/22308

【讨论】：