【问题标题】:Use a custom analyzer for the matching term with Hibernate Search通过 Hibernate Search 对匹配项使用自定义分析器
【发布时间】:2020-08-20 11:38:13
【问题描述】:

我有一个包含自定义分析器的字段。

@Analyzer(definition = "edgeNgram")
@Field(index = Index.YES, analyze = Analyze.YES, store = Store.YES)
@Lob
String value;

这是我班上的分析器。

@AnalyzerDef(name = "edgeNgram",
        tokenizer = @TokenizerDef(factory = WhitespaceTokenizerFactory.class),
        filters = {
                @TokenFilterDef(factory = ASCIIFoldingFilterFactory.class), // Replace accented characters by their simpler counterpart (è => e, etc.)
                @TokenFilterDef(factory = LowerCaseFilterFactory.class), // Lowercase all characters
                @TokenFilterDef(
                        factory = EdgeNGramFilterFactory.class, // Generate prefix tokens
                        params = {
                                @org.hibernate.search.annotations.Parameter(name = "minGramSize", value = "4"),
                                @org.hibernate.search.annotations.Parameter(name = "maxGramSize", value = "10")
                        }
                )
        })

我在这里创建我的查询。

query = queryBuilder
        .simpleQueryString()
        .boostedTo(3f) // This whole query is boosted so exact matches will obtain a better score
        .onFields("title.value", "keyword.values.value")
        .boostedTo(2f)
        .andField("description.values.value")
        //.withAndAsDefaultOperator()
        .matching(Arrays.stream(searchTerm.split(" ")).map(e -> e + "*").collect(Collectors.joining(" ")).toLowerCase())
        .createQuery();

我不知道如何(并且在 Hibernate Search 的文档中找不到)为搜索词 searchTerm 设置分析器。基本上我开始手动拆分并在 Java 中将其设置为小写。但这似乎不对。

我想要的是对我的查询词应用另一个分析器,例如:

@AnalyzerDef(name = "edgeNGram_query",
        tokenizer = @TokenizerDef(factory = WhitespaceTokenizerFactory.class),
        filters = {
                @TokenFilterDef(factory = ASCIIFoldingFilterFactory.class), // Replace accented characeters by their simpler counterpart (è => e, etc.)
                @TokenFilterDef(factory = LowerCaseFilterFactory.class) // Lowercase all characters
        })

您知道如何为查询词设置自定义分析器吗?为什么默认不应用它?如果我搜索“bouees”,它可以工作,但如果我搜索“bouées”,它不会。

谢谢!

解决方案:

我的问题是我正在做一个simpleQueryString,而我应该做一个keyword 查询。 simpleQueryString 似乎没有在搜索词上运行分析器!然后我只需要关注@yrodiere .overridesForField( "description.values.value", "edgeNGram_query" ) 即可使用正确的搜索词分析器。

【问题讨论】:

    标签: hibernate hibernate-search


    【解决方案1】:

    在 Hibernate Search 5 中,您必须在创建查询构建器时调用 overridesForField,以覆盖每个字段的分析器:

    QueryBuilder queryBuilder = fullTextEntityManager.getSearchFactory().buildQueryBuilder().forEntity(Hospital.class)
        .overridesForField( "title.value", "edgeNGram_query" )
        .overridesForField( "keyword.values.value", "edgeNGram_query" )
        .overridesForField( "description.values.value" )
        .get();
    
    // Then it's business as usual
    Query query = queryBuilder
            .simpleQueryString()
            .boostedTo(3f) // This whole query is boosted so exact matches will obtain a better score
            .onFields("title.value", "keyword.values.value")
            .boostedTo(2f)
            .andField("description.values.value")
            //.withAndAsDefaultOperator()
            .matching(searchTerm)
            .createQuery();
    

    另请参阅this answer 的结尾,这可能是您最初获取代码的地方? :)

    如果有一天您升级到 Hibernate Search 6(Beta 版,不同的 API),您会发现它要简单得多:在构建谓词时可以选择 override the analyzer。例如:

    List<MyEntity> hits = searchSession.search( MyEntity.class )
            .where( f -> f.simpleQueryString()
                    .fields( "title.value", "keyword.values.value" ).boost( 3f )
                    .fields( "description.values.value" )
                    .matching( searchTerm )
                     //.defaultOperator( BooleanOperator.AND )
                    .analyzer( "edgeNGram_query" ) ) // <= HERE
            .fetchHits( 20 );
    

    【讨论】:

    • 谢谢!这是否意味着在任何情况下,相同的分析器将应用于字段和搜索词?当我不调用overridesForField 时,edgeNgram 分析器会应用于我的搜索词吗?如果是这种情况,我不明白为什么“bouées”不起作用而“bouees”起作用,即使我的分析器包含ASCIIFoldingFilterFactory
    • 我的问题是我正在做一个simpleQueryString,而我应该做一个keyword 查询。 simpleQueryString 似乎没有在搜索词上运行分析器!
    • simpleQueryString 会执行分析,除非您要求它不要这样做。问题可能是别的。虽然无法告诉你它是什么......
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-08-13
    • 1970-01-01
    • 2021-09-05
    • 2021-10-26
    • 2015-03-04
    相关资源
    最近更新 更多