带有 LookAhead 的 Lucene 标记器

Question

谁能指出我使用 LookAhead 实现 Lucene Tokenizer 的正确方向？

我正在使用雪球词干分析器，我希望能够获取城市名称的短语并防止它们被词干，这样“洛杉矶”将被设置为单个标记，而不是“”的两个标记洛杉矶”和“天使”。

我还需要将不匹配任何城市名称的标记保留为单个单词。

有什么想法吗？

TIA

Answer 1

Here 是我写的东西的要点，它可以满足您的需求。