Porter Stemmer 算法没有返回预期的输出？当修改成def

Question

我正在使用PorterStemmer Python Port

Porter 词干算法（或“Porter stemmer”）是一种用于从英语单词中去除常见形态和屈折词尾的过程。它的主要用途是作为通常在设置信息检索系统时完成的术语规范化过程的一部分。

以下..

您需要做的另一件事是将每个单词简化为词干。例如，sing、sings、singing 都有相同的词干，即sing。有一种合理接受的方法可以做到这一点，称为 Porter's 算法。你可以从http://tartarus.org/martin/PorterStemmer/下载一些执行它的东西。

我已经修改了代码..

if __name__ == '__main__':
    p = PorterStemmer()
    if len(sys.argv) > 1:
        for f in sys.argv[1:]:
            infile = open(f, 'r')
            while 1:
                output = ''
                word = ''
                line = infile.readline()
                if line == '':
                    break
                for c in line:
                    if c.isalpha():
                        word += c.lower()
                    else:
                        if word:
                            output += p.stem(word, 0,len(word)-1)
                            word = ''
                        output += c.lower()
                print output,
            infile.close()

从input 读取而不是从预处理字符串读取文件并返回输出。

def algorithm(input):
    p = PorterStemmer()
    while 1:
        output = ''
        word = ''
        if input == '':
            break
        for c in input:
            if c.isalpha():
                word += c.lower()
            else:
                if word:
                    output += p.stem(word, 0,len(word)-1)
                    word = ''
                output += c.lower()
        return output

请注意，如果我将return output 定位到与while 1: 相同的缩进上，它会变成infinite loop。

用法（示例）

import PorterStemmer as ps
ps.algorithm("Michael is Singing");

输出

迈克尔是

预期输出

迈克尔在唱歌

我做错了什么？

Answer 1

所以看起来罪魁祸首是它当前没有将输入的最后部分写入output（例如，尝试“Michael is Singing stuff” - 它应该正确写入所有内容并省略“stuff”） .可能有一种更优雅的方法来处理这个问题，但您可以尝试的一件事是在for 循环中添加一个else 子句。由于问题是最后一个词没有包含在output 中，我们可以使用else 来确保在完成for 循环后添加最后一个词：

def algorithm(input):
    print input
    p = PorterStemmer()
    while 1:
        output = ''
        word = ''
        if input == '':
            break
        for c in input:
            if c.isalpha():
                word += c.lower()
            elif word:
                output += p.stem(word, 0,len(word)-1)
                word = ''
                output += c.lower()
        else:
            output += p.stem(word, 0, len(word)-1)  
        print output
        return output

这已经用两个测试用例进行了广泛的测试，所以很明显它是防弹的 :) 那里可能有一些边缘情况，但希望它能让你开始。