在python中比较大字符串的最快方法

Question

我有一个单词词典，其频率如下。

mydictionary = {'yummy tim tam':3, 'fresh milk':2, 'chocolates':5, 'biscuit pudding':3}

我有一组字符串如下。

recipes_book = "For today's lesson we will show you how to make biscuit pudding using 
yummy tim tam and fresh milk."

在上面的字符串中，我有字典中的“饼干布丁”、“美味的 tim tam”和“新鲜牛奶”。

我目前正在对字符串进行标记以识别字典中的单词，如下所示。

words = recipes_book.split()
for word in words:
    if word in mydictionary:
        print("Match Found!")

但它只适用于一个单词字典键。因此，我对最快的方法（因为我的真实食谱是非常大的文本）感兴趣，以识别具有多个单词的字典键。请帮帮我。

Answer 1

构建你的正则表达式并编译它。

import re

mydictionary = {'yummy tim tam':3, 'fresh milk':2, 'chocolates':5, 'biscuit pudding':3}

searcher = re.compile("|".join(mydictionary.keys()), flags=re.I | re.S)

for match in searcher.findall(recipes_book):
    mydictionary[match] += 1

之后的输出

{'yummy tim tam': 4, 'biscuit pudding': 4, 'chocolates': 5, 'fresh milk': 3}

Answer 2

根据一些测试，“in”键比“re”模块快：

What's a faster operation, re.match/search or str.find?

这里的空格没有问题。 假设 mydictionary 是静态的（预定义的），我认为你应该选择相反的东西：

for key in mydictionary.iterkeys():
    if key in recipes_book:
        print("Match Found!")
        mydictionary[key] += 1

在 python2 中，使用 iterkeys 你有一个迭代器，这是一个很好的做法。 使用 python3 你可以直接在字典上循环。

Answer 3

通过在大量 str 数据中搜索要查找的文本尝试另一种方式。

import re
for item in mydictionary:
    match = re.search(item, recipes_book, flags=re.I | re.S)
    if match:
       start, end = match.span()
       print("Match found for %s between %d and %d character span" % (match.group(0), start, end))