跨大型数据集的短语/多词和计数匹配

Question

我有大量的数字和字母数字集，我想在其中找到常用的单词/短语，其中包含 python 2.7。

示例数据，与我的真实数据没有什么相似之处，但这可以很好地表示它。

'this is a test of the hosting',
'test is a test',
'we have more tests to run before we can trust it',
'if it true,  can trust it',
'tom is on time for ounce',
'what do you mean tom is out sick again'

我正在寻找以下类型的匹配

'is' x 5
'test' x 3
'is a test' x 2
'is a' x2
'we' x2
'trust it' x 2
'tom' x 2
..etc..

是否有一个通用的库或者我需要编写一个？我可以用蛮力做到这一点，但在我的一些较大的文件上，这可能需要数年时间。我“假设”这是一个常见问题，一些智能 cookie 已经找到了解决方案。希望这不是一个旅行推销员。

Answer 1

我认为您正在寻找 unigram、bigram、trigram 计数。你可以在 Python 中使用 NLTK 库来做你想做的事。

另外，请查看link。