在 solr 中进行索引时从标记中删除额外的额外句点（点）答案

【问题标题】：Removing additional, extra periods (dots) from tokens while indexing in solr在 solr 中进行索引时从标记中删除额外的额外句点（点）
【发布时间】：2013-07-02 09:17:29
【问题描述】：

我想在 solr 索引文档时删除标记之间的额外句点。在索引到 solr 之前，我总是可以使用自定义代码执行此操作。但是是否有一个标记器或分析器或配置可以去除不必要的句点（点）？示例：这家维修店非常好......我会推荐给任何想要修理自行车的人......请尝试一下......

我已经使用了多个标记器和分析器。他们似乎都没有为此工作。我目前正在使用 solr.WhitespaceTokenizerFactory 和 solr.WordDelimiterFilterFactory 以及其他一些过滤器。由于我使用 WordDelimiterFilterFactory 的方式，solr 正在生成好，好...，自行车...，自行车，自行车，请尝试，尝试......

我不希望 solr 在最后生成带有 ... 的标记。关于如何在不编写自定义代码的情况下做到这一点的任何想法？............

【问题讨论】：

标签： solr

【解决方案1】：

你试过 solr.StandardTokenizerFactory 吗？

http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters#solr.StandardTokenizerFactory

我尝试了这个分词器，似乎可以按您的预期工作。

【讨论】：

嗨 ymonad，文档说“没有任何过滤器使用 StandardTokenizer 的类型。”我需要后续过滤器来理解这些标记。有什么想法吗？
更准确地说，这个标准标记器是否可以附加到后续复杂的过滤器，如 worddelimiterfilter 和 snowballfilter 等？
谢谢。我试过了，其他过滤器可以识别这些标记。我正在搜索这个 over whitespace tokenizer 是否有任何缺点