Stemming - 代码示例或开源项目？答案

【问题标题】：Stemming - code examples or open source projects?Stemming - 代码示例或开源项目？
【发布时间】：2010-10-10 08:31:09
【问题描述】：

词干是标记系统所需要的。我用delicious，我没有时间管理和修剪我的标签。我对我的博客更加小心，但它并不完美。我为嵌入式系统编写软件，如果它们包含词干提取功能，它会更实用（对用户有帮助）。

例如：
解析
解析器
解析

对于我将它们放入的任何系统都应该具有相同的含义。

理想情况下，某个地方有一个 BSD 许可的词干分析器，但如果没有，我在哪里可以学习常用的算法和技术？

除了 BSD 词干分析器，还有哪些其他开源许可词干分析器？

-亚当

【问题讨论】：

【解决方案1】：

Lucene 有一个词干分析器，我相信（IIRC 可以让你根据需要使用自己的词干分析器）。

编辑：刚刚检查过，Lucence 指的是Snowball 站点，据我所知，这是一个开源的词干提取库。

【讨论】：

【解决方案2】：

Snowball 词干分析器（C 和 Java）我用过它的 Python 绑定，PyStemmer

【讨论】：

【解决方案3】：

查看用 python 编写的nltk toolkit。它有一个非常实用的stemmer。

【讨论】：

【解决方案4】：

词干提取的另一个选项是 WordNet，以及 one of its APIs。一些basic information on stemming and lemmatization，包括对波特词干算法的描述，可以在Introduction to Information Retrieval在线找到。

【讨论】：