如何定义自定义分析器以使用 hibernate-search 和 elasticsearch 进行全局搜索

Question

我有一个 hibernate-search-orm (5.9.0.Final) 和 hibernate-search-elasticsearch (5.9.0.Final) 的实现。

我在一个实体上定义了一个自定义分析器（见下文）并索引了两个实体：

id: "1"
title: "Médiatiques : récit et société"
abstract:...

id: "2"
title: "Mediatique Com'7"
abstract:...

当我在标题字段上搜索时，搜索工作正常：

"title:médiatique" => 2 results.
"title:mediatique" => 2 results.

我的问题是当我使用重音（或不）进行全局搜索时：

search on "médiatique => 1 result (id:1)
search on "mediatique => 1 result (id:2)

有没有办法解决这个问题？

谢谢。

实体定义：

@Entity
@Table(name="bibliographic")
@DynamicUpdate
@DynamicInsert
@Indexed(index = "bibliographic")
@FullTextFilterDefs({
    @FullTextFilterDef(name = "fieldsElasticsearchFilter",
        impl = FieldsElasticsearchFilter.class)
})
@AnalyzerDef(name = "customAnalyzer",
tokenizer = @TokenizerDef(factory = StandardTokenizerFactory.class),
filters = {
    @TokenFilterDef(factory = LowerCaseFilterFactory.class),
    @TokenFilterDef(factory = ASCIIFoldingFilterFactory.class),
})

@Analyzer(definition = "customAnalyzer")
public class BibliographicHibernate implements Bibliographic {
  ...
  @Column(name="title", updatable = false)
  @Fields( {
    @Field,
    @Field(name = "titleSort", analyze = Analyze.NO, store = Store.YES)
  })
  @SortableField(forField = "titleSort")
  private String title;
  ...
}

搜索方式：

FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager); 
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class).get();   
QueryDescriptor q = ElasticsearchQueries.fromQueryString(queryString);
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);

if (filters!=null){
  filters.stream().map((filter) -> filter.split(":")).forEach((f) -> {
    query.enableFullTextFilter("fieldsElasticsearchFilter")
      .setParameter("field", f[0])
      .setParameter("value", f[1]);
    }
  );
}
if (facetFields!=null){
  facetFields.stream().map((facet) -> facet.split(":")).forEach((f) ->{
    query.getFacetManager()
      .enableFaceting(qb.facet()
      .name(f[0])
      .onField(f[0])
      .discrete()
      .orderedBy(FacetSortOrder.COUNT_DESC)
      .includeZeroCounts(false)
      .maxFacetCount(10)
      .createFacetingRequest() );
    }
  );
}
List<Bibliographic> bibs = query.getResultList();

Answer 1

说实话，我更惊讶文档 1 完全匹配，因为“Médiatiques”上有一个尾随“s”，而您没有使用任何词干分析器。

您处于一种特殊情况：您正在使用查询字符串并将其直接传递给 Elasticsearch（这就是 ElasticsearchQueries.fromQueryString(queryString) 所做的）。 Hibernate Search 对正在运行的查询几乎没有影响，它只影响索引内容和此处的 Elasticsearch 映射。

当您在 Elasticsearch 上运行 QueryString query 并且未指定任何字段时，它会使用文档中的所有字段。我不会打赌分析查询时使用的分析器与您在“标题”字段中定义的分析器相同。特别是，它可能不会删除重音符号。

另一种解决方案是使用QueryBuilder 构建一个简单的查询字符串查询。查询的语法有点有限，但对于最终用户来说通常就足够了。代码如下所示：

FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager); 
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class).get();   
Query q = qb.simpleQueryString()
    .onFields("title", "abstract")
    .matching(queryString)
    .createQuery();
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);

用户仍然可以定位特定字段，但只能在您提供的列表中（顺便说一下，这可能更安全，否则他们可以定位排序字段等，您可能不希望允许）。默认情况下，该列表中的所有字段都将成为目标。

这可能导致与查询字符串完全相同的结果，但好处是，您可以覆盖用于查询的分析器。例如：

FullTextEntityManager ftem = Search.getFullTextEntityManager(entityManager);
QueryBuilder qb = ftem.getSearchFactory().buildQueryBuilder().forEntity(Bibliographic.class)
        .overridesForField("title", "customAnalyzer")
        .overridesForField("abstract", "customAnalyzer")
        .get();   
Query q = qb.simpleQueryString()
    .onFields("title", "abstract")
    .matching(queryString)
    .createQuery();
FullTextQuery query = ftem.createFullTextQuery(q, Bibliographic.class).setFirstResult(start).setMaxResults(rows);

...这将在查询时使用您的分析器。

作为替代方案，您还可以使用更高级的 JSON 查询，将 ElasticsearchQueries.fromQueryString(queryString) 替换为 ElasticsearchQueries.fromJsonQuery(json)。不过，您必须自己制作 JSON，采取一些预防措施以避免来自用户的任何注入（使用 Gson 构建 Json），并注意遵循Elasticsearch query syntax。

您可以在official documentation 中找到有关简单查询字符串查询的更多信息。

注意：您可能希望将 FrenchMinimalStemFilterFactory 添加到自定义分析器中的令牌过滤器列表中。这不是您的问题的原因，但是一旦您设法在搜索查询中使用分析器，您很快就会发现它很有用。