Ruby：有没有“知道”英语不规则动词的词干分析器？答案

【问题标题】：Ruby: is there a stemmer that "knows" English irregular verbs?Ruby：有没有“知道”英语不规则动词的词干分析器？
【发布时间】：2011-04-05 21:00:55
【问题描述】：

有一个 ruby 词干分析器 https://github.com/aurelian/ruby-stemmer，但它 1) 不能词干英语不规则动词 2) 无法在 Windows 上构建原生扩展。是否有替代方案至少可以解决其中一个问题？

【问题讨论】：

【解决方案1】：

我认为您应该搜索词形还原器（它具有关于形态学的信息并且可以处理不规则单词）而不是词干分析器（通常只是切断单词的结尾）。请参阅 Manning、Raghavan 和 Schütze 的信息检索在线书籍中的 this explanation。

我还没有尝试过，但快速搜索了一下，发现了这个用于 Ruby 的英文词形还原器：elemma。

可以进行词形还原的常用（非Ruby）英语形态分析器是morpha。

【讨论】：

【解决方案2】：

没有一个词干分析器能够处理英语中的不规则动词。

https://github.com/ealdent/uea-stemmer - 纯 ruby，编写良好，2009 年，文档很少，但比其他文档多一些，可以在 Windows 上安装
https://github.com/romanbsd/fast-stemmer 纯 C，难读，应该比其他人更快（我没有测试性能），从 2009 年开始，文档非常少，安装在 Windows 上 OK。 它的方法有副作用。小心创建副本
https://github.com/aurelian/ruby-stemmer 2010 年，无法在 Windows 上构建原生扩展。可以处理除英语以外的其他欧洲语言
http://rubyforge.org/projects/stemmer纯ruby，自2006年以来一直没有更新，也没有任何文档，在windows上安装OK，我没弄明白怎么用
http://rubyforge.org/projects/stemmer4r - 没有文档，2005 年。没试过

【讨论】：

【解决方案3】：

【讨论】：