基于二元组频率替换单词，Python

Question

我有一个系列类型对象，我必须应用一个函数，该函数使用二元组来纠正单词，以防它与另一个单词一起出现。我创建了一个 bigrams list ，根据频率对其进行排序（最高优先）并将其命名为 fdist 。

bigrams = [b for l in text2 for b in zip(l.split(" ")[:-1], l.split(" ")[1:])]
freq = nltk.FreqDist(bigrams) #computes freq of occurrence
fdist = freq.keys() # sorted according to freq

接下来，我创建了一个函数，它接受每一行（“或句子”、“列表的对象”）并使用二元组来决定是否进一步纠正它。

def bigram_corr(line): #function with input line(sentence)
    words = line.split() #split line into words
    for word1, word2 in zip(words[:-1], words[1:]): #generate 2 words at a time words 1,2 followed by 2,3 3,4 and so on
        for i,j in fdist: #iterate over bigrams
            if (word2==j) and (jf.levenshtein_distance(word1,i) < 3): #if 2nd words of both match, and 1st word is at an edit distance of 2 or 1, replace word with highest occurring bigram
               word1=i #replace
               return word1 #return word

问题是整个句子只返回一个单词，例如：
“Lts go twards the east is” 替换为 Lets 。看起来进一步的迭代不起作用。
word1, word2 的 for 循环是这样工作的： 第一次迭代中的“lts go”，最终将被“lets”取代，因为“go”出现的频率更高

在第二次迭代中“走向”。

在第 3 次迭代中“朝向”……以此类推。

有一个小错误，我无法弄清楚，请帮忙。

Answer 1

听起来你在做word1 = i 并期望这会修改words 的内容。但这不会发生。如果你想修改words，你必须直接这样做。使用enumerate 跟踪word1 的索引。

正如 2rs2ts 指出的那样，您早早回来了。如果您希望在找到第一个好的替代品后终止内部循环，请break 而不是返回。然后在函数结束时返回。

def bigram_corr(line): #function with input line(sentence)
    words = line.split() #split line into words
    for idx, (word1, word2) in enumerate(zip(words[:-1], words[1:])):
        for i,j in fdist: #iterate over bigrams
            if (word2==j) and (jf.levenshtein_distance(word1,i) < 3): #if 2nd words of both match, and 1st word is at an edit distance of 2 or 1, replace word with highest occurring bigram
                words[idx] = i
                break
    return " ".join(words)

Answer 2

return 语句完全停止函数。我想你想要的是：

def bigram_corr(line):
    words = line.split()
    words_to_return = []
    for word1, word2 in zip(words[:-1], words[1:]):
        for i,j in fdist:
            if (word2==j) and (jf.levenshtein_distance(word1,i) < 3):
               words_to_return.append(i)
    return ' '.join(words_to_return)

这会将您处理过的每个单词放入一个列表中，然后用空格重新连接它们并返回整个字符串，因为您说过要返回“整个句子”。

我不确定您的代码的语义是否正确，因为我没有 jf 库或您正在使用的任何库，因此我无法测试此代码，所以这可能或可能无法完全解决您的问题。但这会有所帮助。