【问题标题】:How to link/join multiple Lucene docs by AND operation如何通过 AND 操作链接/加入多个 Lucene 文档
【发布时间】:2023-03-24 18:43:01
【问题描述】:

我是 lucene 的初学者。现在我因为搜索问题被屏蔽了。我们正在开发一个 API 来使用 lucene 作为我们应用程序的搜索引擎,并且必须在加入时使用不同的条件进行大量查询。

我们将许多实体作为单独的文档存储到 lucene 中。

每个实体都以记录数的形式出现,并作为单独的文档存储到 lucene 中。在下面添加了一个示例数据结构,

序列号1 --> 16 是 lucene 的文档。

1) "id": "1","sendr_name": "**sender1**", "recip_name": "**recipient1**", "subject": "**subject1**"  
  2) "id": "1","attachment": "**attachment1**"  
  3) "id": "1","domain": "**domain1**", "ip": "ip1"  
  5) "id": "1","mid": "**mid1**"  
  6) "id": "1","type": "type1"  

  7) "id": "2","sendr_name": "sender1", "recip_name": "recipient1", "subject": "subject1"  
  8) "id": "2","attachment": "attachment2"  
  9) "id": "2","domain": "domain1", "ip": "ip2"  
 10) "id": "2","mid": "mid2"  
 11) "id": "2","type": "type2"  

  12) "id": "3","sendr_name": "sender1", "recip_name": "recipient3", "subject": "subject3"  
  13) "id": "3","attachment": "attachment3"  
  14) "id": "3","domain": "domain1", "ip": "ip3"  
  15) "id": "3","mid": "mid3"  
  16) "id": "3","type": "type3"  

注意:序列号1-16是不同实体的文档,字段“id”是内部生成的,所以id值不能被用户用作查询值。

我的需要是在特定条件下提取特定实体或实体。

+sendr_name:sender1 + recip_name:recipient1 +subject:subject1 +attachment:attachment1 +domain:domain1 +mid:mid1

这是为了获取实体信息(一个实体的 1-6 个文档)。

但上述查询无法返回结果,因为附件、中间和域在不同的文档中。

有什么方法可以将 AND 条件扩展到多个文档?或者无论如何我们可以在像 doc1.id = doc2.id 这样的字段上加入查询?

我请求大家提供您的建议或帮助解决这个问题。

【问题讨论】:

  • 有人可以帮忙吗?
  • 你使用的是 elasticsearch 还是 raw Lucene API?
  • 我只使用原始 Lucene API。

标签: search lucene


【解决方案1】:

首先,对于普通的 Lucene,不建议将异构文档存储在同一个索引中,因为从长远来看,这可能会带来许多其他问题和其他基础设施问题。

通过这个SO Answer。您最好使用其他顶级技术,例如 SOLR 或 ElasticSearch,它们能够更好地处理您描述的场景。

您没有显示任何代码,因此不清楚您使用的是 Java 还是 .NET 或 Lucene API 版本。

我正在使用带有 Java 的 Lucene 6.0,我认为它可以通过 - BooleanQuery 作为顶级容器来实现。

public static BooleanQuery.Builder buildQuery(final SearchBean searchBean) {
        BooleanQuery.Builder finalQuery = new BooleanQuery.Builder();
        finalQuery.add(buildDoc1Query(searchBean).build(), Occur.SHOULD);
        finalQuery.add(buildDoc2Query(searchBean).build(), Occur.SHOULD);
        ....
        ....
        return finalQuery;
    }

即首先,您根据需要搜索的内容为每种实体类型构建查询。 SearchBean 是一个 POJO,它结合了所有文档类型的所有可搜索字段。

private static BooleanQuery.Builder buildDoc1Query(SearchBean searchBean ) {
        BooleanQuery.Builder doc1MatchQuery = new BooleanQuery.Builder();

        if (StringUtils.isNotEmpty(searchBean.getSender_name())) {
            doc2MatchQuery.add(new BoostQuery(new TermQuery(new Term(AppConstants.SENDER_NAME, searchBean.getSender_name())), MatchingBooster.SENDER_NAME), BooleanClause.Occur.MUST);
        }
        if (StringUtils.isNotEmpty(searchBean.getRecip_name())) {
            doc2MatchQuery.add(new BoostQuery(new TermQuery(new Term(AppConstants.RECIP_NAME, searchBean.getRecip_name()())), MatchingBooster.RECIP_NAME), BooleanClause.Occur.MUST);
        }

    ....
    ....

        return doc2MatchQuery;
    }

StringUtils 来自 Apache Commons 库。

AppConstants 包含索引字段名称。

这里重要的是 - 子查询中的 BooleanClause.Occur.MUST 和主查询中的 Occur.SHOULD,这样您就可以将子查询分组到一个主查询中。

所以你会得到类似的东西 - (+sendr_name:sender1 + recip_name:recipient1 +subject:subject1) (+attachment:attachment1) ....so on。

以上将为您提供 doc1 和 doc2。

以上示例代码(BoostQuery)中的boosting部分可以去掉,直接使用TermQuery即可。

希望对您有所帮助,如果我误解了您的要求,请告诉我。

【讨论】:

  • 非常感谢萨比尔。您解释的方式非常详细且易于理解。我会根据你的尝试。到目前为止,我也和你几乎一样。是的,我也只用 Java 开发,抱歉我没有提到。我会努力回来的。非常感谢。
猜你喜欢
  • 2020-09-17
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-06-19
相关资源
最近更新 更多