小词词干/词形还原

Question

目前我使用'lucene'和'elasticsearch'，并且有下一个问题。 我需要为diminutive 词获取词干形式或引理。例如：

• doggy -> 狗
• 小猫 -> 猫

等等

但我得到了下一个结果：

• doggy -> doggi
• 小猫 -> 小猫

是否有任何方法（不重要的现成库、任何算法、方法等）来获取diminutive 字形的根/原始字形？

目标语言：俄语。 例如：

• собачка -> собака
• кошечка -> кошка

提前致谢！

Answer 1

首先，作为旁注：您尝试做的通常不称为词干提取或词形还原。

您的第一个问题是将观察到的标记（例如 собачка）映射到其规范化形式（例如 собака）--天真地，这可以通过创建 @ 987654321@ 使用 SynonymMap 将小单位形式映射到其规范形式。但是，您可能会遇到任何自然语言的问题，因为并非所有派生都是明确的：例如，在德语中，Mädel ('girl'/'lass') 可能是 Magd（一个古老的词，意思是“年轻女人”/“女仆”）或 Made（“蛆虫”）。

消除这两种形式的歧义的一种方法是计算每个规范形式出现在给定上下文中的概率（例如前面 n 标记的历史），然后用最可能的规范形式（使用定制的TokenFilter 这样做）——参见例如the Wikipedia entry for word-sense disambiguation 用于不同的方法。