如何找到最常用的词来描述一个类别

Question

我有两列。一个是动物，另一个是它们的描述。我想在 Python 中找到与每种动物相关的最常见单词。另外，我想添加一组单词，包括英语停用词和二元组和三元组。或许能找到前 20 个单词/短语。

dataset = pd.read_sql( q , dlconn )
x=dataset['Animal']
y= dataset[Description]
count_vect = CountVectorizer(stop_words = esw, ngram_range=(1, 3))

Answer 1

要查找最常用的单词，您可以使用collections.Counter：

from collections import Counter

df = pd.DataFrame({
    'Animal': ['dog', 'dog', 'cat', 'cat', 'cat', 'rabbit'] ,
    'Description':['woof hairy', 'hairy big', 'meow', 'meow', 'meow whiskers', 'carrot']
})

most_common = {}
for animal, grp_df in df.groupby('Animal')['Description']:
    counts = Counter([word for phrase in grp_df.tolist() for word in phrase.split(' ')])
    most_common[animal] = max(counts.keys(), key=lambda x: counts[x])

输出：

{'cat': 'meow', 'dog': 'hairy', 'rabbit': 'carrot'}