使用 nltk 库提取关键字

Question

我正在开发一个应用程序，该应用程序需要我从对话流中提取关键字（并最终生成这些词的标签云）。我正在考虑以下步骤：

1. 标记每个原始对话（输出存储为字符串列表）
2. 删除停用词
3. 使用词干分析器（Porter 词干提取算法）

到目前为止，nltk 提供了我需要的所有工具。在此之后，但是我需要以某种方式对这些单词进行“排名”并提出最重要的单词。谁能建议我 nltk 中的哪些工具可以用于此？

谢谢 尼特

Answer 1

我想这取决于您对“重要”的定义。 如果您在谈论频率，那么您可以使用单词（或词干）作为键来构建字典，然后将其计为值。之后，您可以根据它们的计数对字典中的键进行排序。

类似的东西（未测试）：

from collections import defaultdict

#Collect word statistics
counts = defaultdict(int) 
for sent in stemmed_sentences:
   for stem in sent:
      counts[stem] += 1

#This block deletes all words with count <3
#They are not relevant and sorting will be way faster
pairs = [(x,y) for x,y in counts.items() if y >= 3]

#Sort (stem,count) pairs based on count 
sorted_stems = sorted(pairs, key = lambda x: x[1])