使用语言 Elasticsearch 的多语言搜索

Question

我正在开发一个使用 Elasticsearch 执行多语言全文搜索的项目。我使用的历史训练数据集也是多语言的，我现在正在尝试使用语言分析器和语言检测来配置文本分析。

1) 我使用以下链接作为指南，正如第一段中所写，我需要安装 推理摄取处理器。我该如何安装它？ （我不熟悉 Java 和 elasticsearch 的新手） https://www.elastic.co/de/blog/multilingual-search-using-language-identification-in-elasticsearch

2) Elasticsearch 为多种语言提供语言分析器，如果我点击此链接https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html，我将需要以 8 种语言配置分析器，我将不得不创建 8 个不同的自定义分析器，这很长。有没有更短的方法可以为 8 种语言编写一个设置？

Answer 1

首先在博客an Inference Ingest Processor 中提到，它是机器学习 (ML) 功能，除非您有不需要它的用例，否则它也是 X-pack 的一部分，而不是核心 Elasticsearch，所以您可能有启用 X-pack 模块并在 X-pack 的基本层中不包含它时购买。

关于您的第二个问题，如博客中所述，两种方法之一是为每种语言设置一个单独的索引，这样您就不必定义所有特定于语言的字段，第二种方法是我们使用的每种语言的字段，所有语言都将属于同一索引的一部分。

维护 8 个自定义分析器没有任何开销，因为大多数分析器都是内置的，您可以查看Elasticsearch language analyzers，您的用例都支持这些分析器。而其他的，如果你必须创建它，将只是一次性的努力，将成为你的设置和映射的一部分。

以下是我使用最常用语言的内置分析器的每个字段方法的一个示例索引映射。

{
    "mappings": {
        "properties": {
            "en": {
                "type": "text",
                "analyzer": "english"
            },
            "russian": {
                "type": "text",
                "analyzer": "russian"
            },
            "spanish": {
                "type": "text",
                "analyzer": "spanish"
            },
            "swedish": {
                "type": "text",
                "analyzer": "swedish"
            }
        }
    }
}