从 T-SQL 调用 Snowball/Porter2 Stemmer

Question

我正在尝试为我办公室的分析师提供一种从 MSSQL 调用词干分析器的简单方法。它将用于生成词干注释字段，用于两个目的：

1. 创建训练集，对最常见的词干注释字段进行计数和聚合，然后从最常出现的最先开始进行分类。 （对于我们的应用程序，我们将有很多经常重复的短语和很多一次性的东西）。

2. 生成注释字段的派生词干版本以运行分类模型。

我认为，如果我能够创建一个名为 StemText 的 SQL 函数，该函数接受一个文本字段并返回词干版本，这对每个人来说都会很容易。然后我可以创建另一个函数，该函数在 R 中调用指定的分类模型名称（在本例中为词干注释字段）。

我们目前有一堆围绕 Snowball/Porter2 词干分析器构建的词干训练集数据（和成功的分类系统）。我看到有一个 Porter1 词干分析器的 T-SQL 端口，但没有 Porter2。无论如何，我看到有许多包，其中包括 SOLR/Lucene 等雪球算法，但我没有看到太多关于如何从 T-SQL 调用它们的信息。我还看到 R 有一个雪球附加包，还有更多信息可用于从 MSSQL 与 R 交互。

有人对这种方法有任何想法或建议吗？

Answer 1

我最终使用 Visual Studio SQL 项目创建了一个 CLR 函数，该项目包装和增强了 Porter2 词干分析器的官方 CSharp 端口之一。我跑得很快，而且很容易设置。