【问题标题】:TFIDF with previously preprocessed data具有先前预处理数据的 TFIDF
【发布时间】:2015-07-10 00:32:54
【问题描述】:

我正在尝试一个接一个地使用几种信息检索技术。对于每一个,我都希望以完全相同的方式对文本进行预处理。我的预处理文本以单词列表的形式提供。不幸的是 scikit-learns TfidfVectorizer 似乎只接受字符串列表。目前我正在这样做(这当然是非常低效的):

from sklearn.feature_extraction.text import TfidfVectorizer

train_data = [["the","sun","is","bright"],["blue","is","the","sky"]]

tfidf = TfidfVectorizer(tokenizer=lambda i:i.split(","))
converted_train = map(lambda i:",".join(i), train_data)
result_train = tfidf.fit_transform(converted_train)

有没有办法使用 scikit-learns TfidfVectorizer 直接对这种预处理数据进行信息检索?

如果没有,是否可以让 TfidfVectorizer 进行预处理并在之后重用其预处理数据?

【问题讨论】:

    标签: python scikit-learn tf-idf


    【解决方案1】:

    我自己找到了答案。我的问题是,我只是使用 None 作为 TfidfVectorizer 的标记器:

    tfidf = TfidfVectorizer(tokenizer=None)
    

    您必须改为使用仅转发数据的标记器。此外,您必须确保矢量化器不会将列表转换为小写(这不起作用)。一个工作示例是:

    from sklearn.feature_extraction.text import TfidfVectorizer
    
    train_data = [["the","sun","is","bright"],["blue","is","the","sky"]]
    
    tfidf = TfidfVectorizer(tokenizer=lambda i:i, lowercase=False)
    result_train = tfidf.fit_transform(train_data)
    

    【讨论】:

      猜你喜欢
      • 2014-12-15
      • 2023-03-08
      • 2021-04-28
      • 2023-03-17
      • 1970-01-01
      • 2019-02-08
      • 2023-03-30
      • 1970-01-01
      • 2020-02-07
      相关资源
      最近更新 更多