【发布时间】:2015-07-10 00:32:54
【问题描述】:
我正在尝试一个接一个地使用几种信息检索技术。对于每一个,我都希望以完全相同的方式对文本进行预处理。我的预处理文本以单词列表的形式提供。不幸的是 scikit-learns TfidfVectorizer 似乎只接受字符串列表。目前我正在这样做(这当然是非常低效的):
from sklearn.feature_extraction.text import TfidfVectorizer
train_data = [["the","sun","is","bright"],["blue","is","the","sky"]]
tfidf = TfidfVectorizer(tokenizer=lambda i:i.split(","))
converted_train = map(lambda i:",".join(i), train_data)
result_train = tfidf.fit_transform(converted_train)
有没有办法使用 scikit-learns TfidfVectorizer 直接对这种预处理数据进行信息检索?
如果没有,是否可以让 TfidfVectorizer 进行预处理并在之后重用其预处理数据?
【问题讨论】:
标签: python scikit-learn tf-idf