Python - 是否有用于英语 GB 单词的 NLTK 语料库？

Question

我正在学习 Python 并尝试在烧瓶中创建一个字谜创建器/求解器。

我正在使用 nltk 并设置了一个基本脚本，它可以解扰一组字母并从语料库中找到单词。我知道我的方法可能并不完美 - 请记住，我仍在学习 Python 中可用的功能 - 但它原则上是有效的，我创建了一个类似的脚本来查找一组字母中的所有单词。

我的问题是它只使用美式英语，所以在下面的示例中，“favro”变成了“favor”，即美式拼写，但“favrou”并没有变成“favour”，即英式拼写。

import itertools
import nltk
from nltk.corpus import words
english_vocab = set(w.lower() for w in nltk.corpus.words.words())
scramble = "favro"
sep = ""
for y in list(itertools.permutations(scramble, len(scramble))):
    if (sep.join(y) in english_vocab):
        print(sep.join(y))

有什么东西可以区分美式英语和英式英语吗？

我尝试使用“附魔”，它在求解器部分工作得很好，但是当我尝试在一个单词中创建一个单词列表时，它非常慢。例如，当我尝试查找“颜色”中的所有单词时，nltk 需要 0.08 秒，而附魔需要 2.5 秒。这个时间差随着字母数量的增加而增加，所以附魔是不可行的。

有什么想法吗？

史蒂夫

Answer 1

如果您只是将 NLTK 用于单词语料库，您可能只想找到一个英英单词的单词列表并读入。

既然我们谈论的是字谜求解器，为什么不使用官方拼字游戏比赛中使用的 SOWPODS 单词列表？

例如，https://raw.githubusercontent.com/jesstess/Scrabble/master/scrabble/sowpods.txt（警告：大文件！）包含FAVOUR，所以它应该适合你。

编辑：详细说明我的评论，例如

from collections import defaultdict

ws = defaultdict(set)

for word in open("./sowpods.txt"):
    word = word.lower().strip()
    if word:
        ws[frozenset(word)].add(word)


def find(word):
    return ws[frozenset(word)]


print(find("wired"))

输出

{'rewired', 'weirdie', 'wiredrew', 'dewier', 'weired', 'widder', 'wried', 'weird', 'weirded', 'weedier', 'wider', 'wired', 'weirder'}

在 0.7 秒内。

（是的，这是可能单词的超集，但很容易过滤掉。另一个可以避免这种情况的选择是使用 ''.join(sorted(word)) 作为字典的键。）