在 NLTK 中查找 n-gram 背后的想法或算法是什么？答案

【问题标题】：What is the idea or algorithm behind finding n-gram in NLTK?在 NLTK 中查找 n-gram 背后的想法或算法是什么？
【发布时间】：2020-04-28 11:46:57
【问题描述】：

我正在使用 Python NLTK 包从我的语料库中生成 2-gram 和 3-gram。但我找不到 NLTK 如何从语料库中生成它们。

我在这里找到了这个：An Introduction to N-grams: What Are They and Why Do We Need Them?，但我想知道是否还有其他算法可以找到 n-gram。 NLTK 是否使用本文中的算法来查找 n-gram？

一如既往，非常感谢。

【问题讨论】：

您可以在此处找到 NLTK 的 ngrams、bigrams 和 trigrams 模块的源代码：nltk.org/_modules/nltk/util.html

【解决方案1】：

您可以使用 zip 将句子中的单词对/三元组/n 长度的序列作为元组进行迭代。

for s in sentences:
    for w1, w2 in zip(s, s[1:]):
        bigram = w1, w2

【讨论】：