存储 TfIdf 模型，然后加载它以测试新数据集

Question

我正在尝试存储训练数据集后获得的 TfIdf 矢量化器/模型（不知道它是否是正确的词），然后加载存储的模型以适应新数据集。 使用pickle存储和加载模型

我已经存储了在训练阶段获得的 TfIdf 的词汇。然后，我将存储的词汇加载到矢量化器以适应测试数据

def Savetfidf(df):
    vectorizer = TfidfVectorizer(min_df=0.0, analyzer="char", sublinear_tf=True, ngram_range=(1,2))
    X = pd.SparseDataFrame(vectorizer.fit_transform(df), columns = vectorizer.get_feature_names(), default_fill_value = 0)
    pickle.dump(vectorizer.vocabulary_, open("features.pkl", "wb"))
    return X

def Loadtfidf(df):
    vectorizer = TfidfVectorizer(min_df=0.0, analyzer="char", sublinear_tf=True, ngram_range=(1,2))
    vocabulary = pickle.load(open(feature, 'rb'))
    vectorizer.vocabulary_ = vocabulary
    X = pd.SparseDataFrame(vectorizer.transform(df), columns = vectorizer.get_feature_names(), default_fill_value = 0)
    return X

我遇到了一个错误

“sklearn.exceptions.NotFittedError: idf 向量未拟合”

据我所知，它正在尝试使用 idf_ 和词汇表分别保存整个“X”。但我只想存储模型/向量器（不知道），以便下次加载模型/向量器时，我只需要为测试数据调用 vectorizer.fit()，无需使用训练数据调用 fit_transform()。 有什么办法吗？

Answer 1

按照说明here，您可以直接（取消）腌制已安装的vectorizer 对象，它会自行处理正确的（反）序列化。