LSTM 后跟均值池 (TensorFlow)

Question

我知道LSTM Followed by Mean Pooling 有一个类似的主题，但那是关于 Keras 的，我在纯 TensorFlow 中工作。

我有一个 LSTM 网络，其中循环由以下人员处理：

outputs, final_state = tf.nn.dynamic_rnn(cell,
                                         embed,
                                         sequence_length=seq_lengths,
                                         initial_state=initial_state)

我为每个样本传递正确的序列长度（用零填充）。在任何情况下，输出都包含不相关的输出，因为根据序列长度，某些样本会产生比其他样本更长的输出。

现在我正在通过以下方法提取最后一个相关输出：

def extract_axis_1(data, ind):
    """
    Get specified elements along the first axis of tensor.
    :param data: Tensorflow tensor that will be subsetted.
    :param ind: Indices to take (one for each element along axis 0 of data).
    :return: Subsetted tensor.
    """

    batch_range = tf.range(tf.shape(data)[0])
    indices = tf.stack([batch_range, ind], axis=1)
    res = tf.reduce_mean(tf.gather_nd(data, indices), axis=0)

我将sequence_length - 1 作为索引传递。关于最后一个主题，我想选择所有相关输出，然后选择平均池，而不是只选择最后一个。

现在，我尝试将嵌套列表作为索引传递给 extract_axis_1，但 tf.stack 不接受。

有什么解决方法吗？

Answer 1

你可以利用tf.contrib.seq2seq.sequence_loss函数的weight参数。

来自文档：

weights：形状张量 [batch_size, sequence_length] 和 dtype float。权重构成序列中每个预测的权重。使用 weights 作为掩码时，将所有有效时间步设置为 1，将所有填充时间步设置为 0，例如tf.sequence_mask 返回的掩码。

您需要计算一个二进制掩码来区分有效输出和无效输出。然后你可以把这个掩码提供给损失函数的weights 参数（可能你会想要使用这样的损失）；该函数在计算损失时不会考虑权重为 0 的输出。

如果您不能/不需要使用序列丢失，您可以手动执行完全相同的操作。你计算一个二进制掩码，然后将你的输出乘以这个掩码，并将这些作为输入提供给你的全连接层。