如何使用自定义方法腌制转储 tfidf 矢量化器？

Question

我有一个带有自定义分析器的 tfidf 分词器，

def ngrams(text, n=3):
    text = str(text)
    text = text.lower()

    text = ' '+ text +' '
    ngrams = zip(*[text[i:] for i in range(n)])
    return [''.join(ngram) for ngram in ngrams]

# fit and transform 
vectorizer = TfidfVectorizer(min_df=1, analyzer=ngrams)
input_matrix = vectorizer.fit_transform(data)

print(input_matrix.shape)

我想转储它并稍后加载它，但由于我在 tfidf 中用作分析器的名为 ngrams 的自定义方法，我无法这样做。

当我做 pickle.dump 然后加载时，这是我得到的错误，

pickle.dump(vectorizer, open("data", "wb))
vec = pickle.load(open("data", "wb"))

AttributeError: Can't get attribute 'ngrams' on ma​​in'>

有谁知道如何使用自定义方法腌制转储 tfidf。所以我可以使用 pickle.load 来加载。

Answer 1

我的建议是使用扩展 Python 的 pickle 模块的 dill 包：

dill 非常灵活，允许序列化任意用户定义的类和函数。

您所要做的就是在酸洗之前添加以下导入语句：

import dill as pickle

那么你可以照常进行：

pickle.dump(vectorizer, open("data", "wb"))
...

当我在不同的 Python 会话中将矢量化器加载到另一个模块中时，它对我来说效果很好：

vec = pickle.load(open("data", "rb")) # <-- here it should be 'rb'
print(vec)

>>> TfidfVectorizer(analyzer=<function ngrams at 0x11f5f1440>)