Keras 文本预处理 - 将 Tokenizer 对象保存到文件以进行评分

Question

我已经按照以下步骤（大致）使用 Keras 库训练了一个情绪分类器模型。

1. 使用 Tokenizer 对象/类将文本语料库转换为序列
2. 使用 model.fit() 方法构建模型
3. 评估此模型

现在，为了使用此模型进行评分，我能够将模型保存到文件并从文件中加载。但是我还没有找到将 Tokenizer 对象保存到文件的方法。如果没有这个，我每次需要对一个句子进行评分时都必须处理语料库。有没有办法解决这个问题？

Answer 1

最常用的方法是使用pickle 或joblib。这里有一个关于如何使用pickle 来保存Tokenizer 的示例：

import pickle

# saving
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

# loading
with open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)

Answer 2

Tokenizer 类具有将日期保存为 JSON 格式的功能：

tokenizer_json = tokenizer.to_json()
with io.open('tokenizer.json', 'w', encoding='utf-8') as f:
    f.write(json.dumps(tokenizer_json, ensure_ascii=False))

可以使用keras_preprocessing.text中的tokenizer_from_json函数加载数据：

with open('tokenizer.json') as f:
    data = json.load(f)
    tokenizer = tokenizer_from_json(data)

Answer 3

接受的答案清楚地展示了如何保存分词器。以下是对（一般）在拟合或保存后后评分问题的评论。假设列表texts 由两个列表Train_text 和Test_text 组成，其中Test_text 中的标记集是Train_text 中标记集的子集（乐观假设）。然后fit_on_texts(Train_text) 为texts_to_sequences(Test_text) 提供不同的结果，与先调用fit_on_texts(texts) 然后text_to_sequences(Test_text) 相比。

具体例子：

from keras.preprocessing.text import Tokenizer

docs = ["A heart that",
         "full up like",
         "a landfill",
        "no surprises",
        "and no alarms"
         "a job that slowly"
         "Bruises that",
         "You look so",
         "tired happy",
         "no alarms",
        "and no surprises"]
docs_train = docs[:7]
docs_test = docs[7:]
# EXPERIMENT 1: FIT  TOKENIZER ONLY ON TRAIN
T_1 = Tokenizer()
T_1.fit_on_texts(docs_train)  # only train set
encoded_train_1 = T_1.texts_to_sequences(docs_train)
encoded_test_1 = T_1.texts_to_sequences(docs_test)
print("result for test 1:\n%s" %(encoded_test_1,))

# EXPERIMENT 2: FIT TOKENIZER ON BOTH TRAIN + TEST
T_2 = Tokenizer()
T_2.fit_on_texts(docs)  # both train and test set
encoded_train_2 = T_2.texts_to_sequences(docs_train)
encoded_test_2 = T_2.texts_to_sequences(docs_test)
print("result for test 2:\n%s" %(encoded_test_2,))

结果：

result for test 1:
[[3], [10, 3, 9]]
result for test 2:
[[1, 19], [5, 1, 4]]

当然，如果不满足上述乐观假设，并且Test_text中的token集合与Train_test的token集合不相交，那么test 1会产生一个空括号列表[].

Answer 4

我在 keras Repo 中创建了问题 https://github.com/keras-team/keras/issues/9289。在更改 API 之前，该问题有一个指向 gist 的链接，该链接具有代码来演示如何保存和恢复标记器，而无需标记器适合的原始文档。我更喜欢将我的所有模型信息存储在 JSON 文件中（因为原因，但主要是混合 JS/Python 环境），这将允许这样做，即使使用 sort_keys=True

Answer 5

我在link by @thusv89 处找到了以下 sn-p。

保存对象：

import pickle

with open('data_objects.pickle', 'wb') as handle:
    pickle.dump(
        {'input_tensor': input_tensor, 
         'target_tensor': target_tensor, 
         'inp_lang': inp_lang,
         'targ_lang': targ_lang,
        }, handle, protocol=pickle.HIGHEST_PROTOCOL)

加载对象：

with open("dataset_fr_en.pickle", 'rb') as f:
    data = pickle.load(f)
    input_tensor = data['input_tensor']
    target_tensor = data['target_tensor']
    inp_lang = data['inp_lang']
    targ_lang = data['targ_lang']

Answer 6

很简单，因为 Tokenizer 类提供了保存和加载两个函数：

保存——Tokenizer.to_json()

加载——keras.preprocessing.text.tokenizer_from_json

在to_json()方法中，调用“get_config”方法来处理：

    json_word_counts = json.dumps(self.word_counts)
    json_word_docs = json.dumps(self.word_docs)
    json_index_docs = json.dumps(self.index_docs)
    json_word_index = json.dumps(self.word_index)
    json_index_word = json.dumps(self.index_word)

    return {
        'num_words': self.num_words,
        'filters': self.filters,
        'lower': self.lower,
        'split': self.split,
        'char_level': self.char_level,
        'oov_token': self.oov_token,
        'document_count': self.document_count,
        'word_counts': json_word_counts,
        'word_docs': json_word_docs,
        'index_docs': json_index_docs,
        'index_word': json_index_word,
        'word_index': json_word_index
    }