什么lucene分析器可以用来处理日文文本？答案

【问题标题】：What lucene analyzer can be used to handle Japanese text?什么lucene分析器可以用来处理日文文本？
【发布时间】：2009-10-26 14:06:03
【问题描述】：

哪个 lucene 分析器可以用来正确处理日文文本？它应该能够处理汉字、平假名、片假名、罗马字以及它们的任何组合。

【问题讨论】：

【解决方案1】：

您可能应该查看位于 Lucene 的 contrib 区域中的 CJK 包。有专门用于处理中文、日文和韩文的分析器和分词器。

【讨论】：

CJK 分析器似乎是一种幼稚的搜索方式，从以前的经验来看，它似乎不能提供非常相关的搜索结果。我需要做些什么来让 CJK Analyzer 工作，比如修改一些权重或其他东西吗？谢谢
我自己从未使用过 CJK 分析器，所以不能说。您可以尝试在 Lucene 邮件列表 (lucene.apache.org/java/docs/mailinglists.html#Java User List) 上寻求更具体的帮助 - 该列表中有一些对 Lucene 非常有经验的人。

【解决方案2】：

我在为自己的目的进行搜索时发现了lucene-gosen：

他们的例子看起来相当不错，但我想这是需要大量测试的东西。我也担心他们的向后兼容政策（或者更确切地说，完全没有）。

【讨论】：

我们没有使用 lucene-gosen，但我们确实使用了 gosen。所以我接受了这个答案（因为它足够接近并且项目看起来确实很有趣）。 CJK 进行了一个非常幼稚的搜索，其中它只匹配字符而不是与 gosen 不同的单词（它使用字典进行正确解析）。