keras LSTM 获得隐藏状态（将句子序列转换为文档上下文向量）

Question

我正在尝试使用 keras 通过 LSTM 从句子向量创建文档上下文向量（因此每个文档都包含一系列句子向量）。

我的目标是使用 keras 复制以下博客文章：https://andriymulyar.com/blog/bert-document-classification

我有一个（玩具）张量，看起来像这样：X = np.array(features).reshape(5, 200, 768) 所以 5 个文档，每个文档有 200 个句子向量序列 - 每个句子向量有 768 个特征。

所以为了从我的句子向量中获得嵌入，我将我的文档编码为 one-hot-vectors 来学习 LSTM：

y = [1,2,3,4,5] # 5 documents in toy-tensor
y = np.array(y)
yy = to_categorical(y)
yy = yy[0:5,1:6]

到目前为止，我的代码是这样的

inputs1=Input(shape=(200,768))
lstm1, states_h, states_c =LSTM(5,dropout=0.3,recurrent_dropout=0.2, return_state=True)(inputs1)
model1=Model(inputs1,lstm1)
model1.compile(loss='categorical_crossentropy',optimizer='rmsprop',metrics=['acc']) 
model1.summary()
model1.fit(x=X,y=yy,batch_size=100,epochs=10,verbose=1,shuffle=True,validation_split=0.2)

当我打印 states_h 时，我得到一个 shape=(?,5) 的张量，但我真的不知道如何访问该张量中的向量，这应该代表我的文档。

print(states_h)
Tensor("lstm_51/while/Exit_3:0", shape=(?, 5), dtype=float32)

还是我做错了什么？据我了解，应该有 5 个文档向量，例如doc1=[...] ; ...; doc5=[...] 这样我就可以将文档向量重用于分类任务。

Answer 1

嗯，打印一个张量正好表明了这一点：它是一个张量，它有那个形状和那个类型。

如果您想查看数据，则需要提供数据。
状态不是权重，它们不是持久的，它们只存在于输入数据中，就像任何其他模型输出一样。

您应该创建一个输出此信息的模型（您的没有）以便获取它。你可以有两个模型：

#this is the model you compile and train - exactly as you are already doing
training_model = Model(inputs1,lstm1)     

#this is just for getting the states, nothing else, don't compile, don't train
state_getting_model = Model(inputs1, [lstm1, states_h, states_c]) 

（别担心，这两个模型会共享相同的权重并一起更新，即使你只训练training_model）

现在你可以：

关闭急切模式（也可能“开启”）：

lstm_out, states_h_out, states_c_out = state_getting_model.predict(X)
print(states_h_out)
print(states_c_out)

开启急切模式：

lstm_out, states_h_out, states_c_out = state_getting_model(X)
print(states_h_out.numpy())
print(states_c_out.numpy())

Answer 2

带有tf.keras 的TF 1.x（使用TF 1.15 测试）

Keras 使用符号张量进行运算。因此，print(states_h) 不会给您任何东西，除非您将数据传递给占位符 states_h 取决于（在本例中为 inputs1）。你可以这样做。

import tensorflow.keras.backend as K

inputs1=Input(shape=(200,768))
lstm1, states_h, states_c =LSTM(5,dropout=0.3,recurrent_dropout=0.2, return_state=True)(inputs1)
model1=Model(inputs1,lstm1)
model1.compile(loss='categorical_crossentropy',optimizer='rmsprop',metrics=['acc']) 
model1.summary()
model1.fit(x=X,y=yy,batch_size=100,epochs=10,verbose=1,shuffle=True,validation_split=0.2)

sess = K.get_session()
out = sess.run(states_h, feed_dict={inputs1:X})

那么out 将是(batch_size, 5) 大小的输出。

TF 2.x 与 tf.keras

上面的代码不能按原样工作。而且我还没有找到如何让它与 TF 2.0 一起工作（即使 TF 2.0 仍会根据docs 生成一个占位符）。当我找到如何为 TF 2.x 解决此问题时，我将编辑我的答案。