带有 python 的 TF-IDF 矢量化器答案

【问题标题】：TF-IDF vectorizer with python带有 python 的 TF-IDF 矢量化器
【发布时间】：2020-08-25 19:55:21
【问题描述】：

我在 python 中的 TfidfVectorizer 函数有问题。例如，如果我有一个这样的字符串： 'xxx//xx. aaa.bb.ccc.d' 将提取这些单词作为字典的键： 'xxx'、'xx'、'aaa'、'bb'、'ccc'、'd' 相反，我想创建这些新功能： 'xxx//xx.' , 'aaa.bb.ccc.d'

如何要求 TfidfVectorizer 函数选择由空格 (' ') 分隔的单词？

【问题讨论】：

标签： python vectorization tf-idf tfidfvectorizer

【解决方案1】：

看看： https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html

有一个参数叫token-pattern。

【讨论】：

【解决方案2】：

TfidfVectorizer 中的token-pattern 参数用于指定自定义拆分模式

from sklearn.feature_extraction.text import TfidfVectorizer
a = ['xxx//xx. aaa.bb.ccc.d']  
t = TfidfVectorizer(token_pattern=r"([a-z]*//[a-z]*)|([a-z.]*)")

输出

[('', ''), ('', '.'), ('', 'aaa.bb.ccc.d'), ('xxx//xx', '')]

在这种情况下，需要进行一些后期清洁。

【讨论】：

谢谢，但我还是有问题。我有很多不同的单词和很多不同的特殊字符。例如，我有一些这样的词：\\\\x64\\\\x61\\\\x64\\\\x64\\\\x79\\\\x6C\\\\x33\\\\ x33\\\\x74 和许多其他不同。我无法编写所有模式，因为我无法控制所有语料库。没有根据空格区分单词的功能吗？
您可能需要预处理和创建词汇表。然后包含在 Tfidfvectorizer 中。如果空格是拆分的关键，则创建句子列表并创建 countvectorizer 并转换为 TfidfTransformer。