Pickle Tfidfvectorizer 以及自定义标记器答案

【问题标题】：Pickle Tfidfvectorizer along with a custom tokenizerPickle Tfidfvectorizer 以及自定义标记器
【发布时间】：2016-05-14 02:54:05
【问题描述】：

我正在使用服装标记器传递给 TfidfVectorizer。该分词器依赖于另一个文件中的外部类 TermExtractor。

我基本上想基于某些术语构建一个 TfidVectorizer，而不是所有单个单词/标记。

下面是代码：

from sklearn.feature_extraction.text import TfidfVectorizer
from TermExtractor import TermExtractor

extractor = TermExtractor()

def tokenize_terms(text):
    terms = extractor.extract(text)
    tokens = []
    for t in terms:
        tokens.append('_'.join(t))
    return tokens


def main(): 
    vectorizer = TfidfVectorizer(lowercase=True, min_df=2, norm='l2', smooth_idf=True, stop_words=stop_words, tokenizer=tokenize_terms)
    vectorizer.fit(corpus)
    pickle.dump(vectorizer, open("models/terms_vectorizer", "wb"))

这运行得很好，但是每当我想重新使用这个 TfidfVectorizer 并用 pickle 加载它时，我都会收到一个错误：

vectorizer = pickle.load(open("models/terms_vectorizer", "rb"))

Traceback (most recent call last):
  File "./train-nps-comments-classifier.py", line 427, in <module>
    main()
  File "./train-nps-comments-classifier.py", line 325, in main
    vectorizer = pickle.load(open("models/terms_vectorizer", "rb"))
  File "/usr/lib/python2.7/pickle.py", line 1378, in load
    return Unpickler(file).load()
  File "/usr/lib/python2.7/pickle.py", line 858, in load
    dispatch[key](self)
  File "/usr/lib/python2.7/pickle.py", line 1090, in load_global
    klass = self.find_class(module, name)
  File "/usr/lib/python2.7/pickle.py", line 1126, in find_class
    klass = getattr(mod, name)
AttributeError: 'module' object has no attribute 'tokenize_terms'

当有依赖类时，Python pickle 是如何工作的？

【问题讨论】：

搞清楚，我需要在加载腌制 TfidVectorizer 的相同代码中添加方法 tokenize_terms()，导入 TermExtractor，并创建一个提取器：extractor = TermExtractor()
您可以将此添加为答案并将其标记为已接受吗？

标签： python scikit-learn pickle tf-idf

【解决方案1】：

弄清楚吧，我需要在加载腌制 TfidVectorizer 的同一代码中添加方法 tokenize_terms()，导入 TermExtractor，并创建一个提取器：

extractor = TermExtractor()

【讨论】：