LSTM注意力怎么会有变长输入

Question

LSTM 的注意力机制是一个直接的 softmax 前馈网络，它接受编码器每个时间步的隐藏状态和解码器的当前状态。

这两个步骤似乎相互矛盾，无法理解： 1) 需要预定义前馈网络的输入数量 2) 编码器的隐藏状态数是可变的（取决于编码时的时间步数）。

我是不是误会了什么？训练是否与训练常规编码器/解码器网络相同，还是必须单独训练注意力机制？

提前致谢

Answer 1

def attention(inputs, size, scope):
    with tf.variable_scope(scope or 'attention') as scope:
        attention_context_vector = tf.get_variable(name='attention_context_vector',
                                             shape=[size],
                                             regularizer=layers.l2_regularizer(scale=L2_REG),
                                             dtype=tf.float32)
        input_projection = layers.fully_connected(inputs, size,
                                            activation_fn=tf.tanh,
                                            weights_regularizer=layers.l2_regularizer(scale=L2_REG))
        vector_attn = tf.reduce_sum(tf.multiply(input_projection, attention_context_vector), axis=2, keep_dims=True)
        attention_weights = tf.nn.softmax(vector_attn, dim=1)
        weighted_projection = tf.multiply(inputs, attention_weights)
        outputs = tf.reduce_sum(weighted_projection, axis=1)

return outputs

希望这段代码可以帮助你理解注意力是如何工作的。 我在我的文档分类作业中使用了这个函数，它是一个 lstm-attention 模型，不同于你的编码器-解码器模型。

Answer 2

我今天问自己同样的事情，发现了这个问题。我自己从未实现过注意力机制，但从this paper 看来，它似乎不仅仅是一个直接的 softmax。对于解码器网络的每个输出 y_i，上下文向量 c_i 被计算为编码器隐藏状态的加权和 h₁, ..., h_T:

c_i = α_i1h₁+...+ α_iTh_T

每个样本的时间步数 T 可能不同，因为系数 α_ij 不是固定大小的向量。实际上，它们是由 softmax(e_i1, ..., e_iT) 计算出来的，其中每个 e_ij 是一个输入为编码器隐藏状态h_j和解码器隐藏状态s_i-1的神经网络：

e_ij = f(s_i-1, h_j )

因此，在计算 y_i 之前，这个神经网络必须被评估 T 次，产生 T 个权重 α_i1,...,α_{iT。另外，this tensorflow impementation 可能有用。}