如何将字符筛选器添加到 Azure 搜索中的 Microsoft 语言分析器？

Question

我们希望使用 azure search 提供的语言特定分析器，但添加来自 Lucene 的 html_char 过滤器。我们的想法是构建一个自定义分析器，它使用与例如 en.microsoft 分析器相同的组件（标记器、过滤器），但添加了额外的字符过滤器。

遗憾的是，我们找不到任何关于 en.microsoft 分析器或任何其他 Microsoft 分析器的确切构成的文档。我们不知道使用哪些标记器或过滤器来获得与自定义分析器相同的结果。

谁能指出我们正确的文档？

文档说 en.microsoft 分析器 performs lemmatization instead of stemming 但我找不到任何声称仅使用词形还原词干分析器的标记器或过滤器。

Answer 1

要创建 Microsoft 分析器的自定义版本，请从给定语言的 Microsoft 分词器开始（我们有一个词干和非词干版本），然后从一组可用令牌过滤器中添加令牌过滤器以自定义输出令牌溪流。请注意，词干分词器也会进行词形还原，具体取决于语言。

在大多数情况下，Microsoft 语言分析器是 Microsoft 标记器加上停用词标记过滤器和小写标记过滤器，但这取决于语言。在某些情况下，我们会进行语言特定的字符规范化。

我们建议使用以上内容作为起点。然后，Analyze API 可用于测试您的配置，看看它是否能提供您想要的结果。