如何在 Python 中使用新的 .sbl Snowball 算法？

Question

我想在 Python 中使用立陶宛语词干分析器，但是，像 NLTK 这样的常用工具中没有立陶宛语。

但是，我可以找到立陶宛词干分析器 here 和 here 的雪球 .sbl 文件。

但是如何在 Python 中使用它们呢？

我能够found 是获取 .c 文件的命令行方法。但是接下来呢？

正如雪球官方page 所述，有 PyStemmer - 雪球的 Python 接口。但是在那里我找不到任何方法来使用新的或自定义的 .sbl 算法。

那么如何将新的 .sbl 算法导入 Python 呢？

Answer 1

截至目前，立陶宛语已添加到 Snowball git repo，但 pyStemmer 使用的是不包含它的旧版本的存储库。我没有设法在 python 中正确安装新版本的 Snowball，而是使用带有 python 子进程模块的 c 可执行文件。

为此，您只需要克隆存储库，使用命令make 安装它，然后您就可以获得可执行的词干。您可以在 unix 终端 ./stemwords -l lt 中使用命令测试立陶宛语，然后输入您想要处理的单词。

将它与 python 的子进程一起用于处理包含要逐行提取的单词的文件：

import subprocess
args = ("./stemwords", "-l", "lt", "-i", "input_file.txt", "-o", "output_file.txt")
popen = subprocess.Popen(args, stdout=subprocess.PIPE)
popen.wait()

输入文件：

Kodėl
moteriai
vienišai
ištekėjusiai

输出文件：

kod
mot
vieniš
ištekėjus