Keras 情绪分析与 LSTM 如何测试它答案

【问题标题】：Keras sentiment analysis with LSTM how to test itKeras 情绪分析与 LSTM 如何测试它
【发布时间】：2016-05-02 20:56:21
【问题描述】：

我正在尝试使用 Keras 对我的文本进行情感分析，使用示例 imdb_lstm.py，但我不知道如何测试它。我将模型和权重存储到文件中，如下所示：

model = model_from_json(open('my_model_architecture.json').read())
model.compile(loss='binary_crossentropy',
          optimizer='adam',
          metrics=['accuracy'])
model.load_weights('my_model_weights.h5')

results = model.evaluate(X_test, y_test, batch_size=32)

但我当然不知道X_test 和y_test 应该是什么样子。有人能帮帮我吗？

【问题讨论】：

你应该把你的数据分成训练和测试部分，一个训练，另一个测试，这就是你需要做的所有事情
感谢回复。你能给我写一个小例子吗？模型已经从 imdb 数据集训练过
您提供的链接（指向 .py 文件）具有加载测试数据和计算结果的工作示例。但是，您不能“开箱即用”地使用经过训练的模型，因为您需要知道它是根据数据的哪一部分进行训练的。这就是为什么第 32 行将数据集拆分为训练和测试块
hm 我明白了，但是如何输入一个句子并获得它的情感呢？
它实际上非常复杂，因为您使用 keras 预处理数据进行训练，因此您必须以相同的方式预处理自己的数据，因此此时无法重建该过程，因为它是数据依赖。因此，如果没有实际的训练/测试拆分，您将无法重建预处理技术。

标签： python neural-network keras lstm

【解决方案1】：

首先，将数据集拆分为test、valid 和train 并进行一些预处理：

from tensorflow import keras

print('load data')
(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=10000)
word_index = keras.datasets.imdb.get_word_index()

print('preprocessing...')
x_train = keras.preprocessing.sequence.pad_sequences(x_train, maxlen=256)
x_test = keras.preprocessing.sequence.pad_sequences(x_test, maxlen=256)

x_val = x_train[:10000]
y_val = y_train[:10000]

x_train = x_train[10000:]
y_train = y_train[10000:]

如您所见，我们还加载了word_index，因为我们稍后需要它来将我们的句子转换为整数序列。

第二，定义你的模型：

print('build model')
model = keras.Sequential()
model.add(keras.layers.Embedding(10000, 16))
model.add(keras.layers.LSTM(100))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

print('train model')
model.fit(x_train,
          y_train,
          epochs=5,
          batch_size=512,
          validation_data=(x_val, y_val),
          verbose=1)

最后，save 和 load 你的模型：

print('save trained model...')
model.save('sentiment_keras.h5')
del model

print('load model...')
from keras.models import load_model
model = load_model('sentiment_keras.h5')

您可以使用test-set 评估您的模型：

print('evaluation')
evaluation = model.evaluate(x_test, y_test, batch_size=512)
print('Loss:', evaluation[0], 'Accuracy:', evaluation[1])

如果您想在全新的句子上测试模型，您可以这样做：

sample = 'this is new sentence and this very bad bad sentence'
sample_label = 0
# convert input sentence to tokens based on word_index
inps = [word_index[word] for word in sample.split() if word in word_index]
# the sentence length should be the same as the input sentences
inps = keras.preprocessing.sequence.pad_sequences([inps], maxlen=256)
print('Accuracy:', model.evaluate(inps, [sample_label], batch_size=1)[1])
print('Sentiment score: {}'.format(model.predict(inps)[0][0]))

【讨论】：