【问题标题】:Using Lucene to query an RDBMS database使用 Lucene 查询 RDBMS 数据库
【发布时间】:2011-01-17 15:55:52
【问题描述】:

我已经浏览了 Lucene 的 Java 版本的文档,但到目前为止我还没有真正看到顶级“这就是它的工作原理”信息(我知道我需要 RTFM,我可以只见树木不见森林)。

我了解 Lucene 使用搜索索引来返回结果。据我所知,它只从这些索引返回“命中”。如果我在构建索引时没有添加数据项,则不会返回。

没关系,所以现在我要检查以下假设:

问:这是否意味着我想在搜索页面上显示的任何数据都需要添加到 Lucene 索引中?


如果我想通过 sku、描述、类别名称等搜索 Products,但我也想在搜索结果中显示它们所属的 Customer,我是否:

  1. 确保 Lucene 索引在索引中包含非规范化的 Customer 名称。
  2. 使用 Lucene 返回的匹配项以某种方式查询数据库中的实际产品记录,并使用 JOIN 获取 Customer 的名称。

我假设它是选项 1,因为我假设没有办法将 Lucene 查询的结果“加入”到 RDBMS,但想问一下我对一般用法的假设是正确。

【问题讨论】:

    标签: database lucene.net lucene


    【解决方案1】:

    通常索引只包含您要搜索的字段,不一定包含您要显示的字段。应将索引优化为尽可能小,以保持良好的搜索性能。

    为了能够显示更多数据,请在索引中添加一个字段,以便您检索完整的文档/数据,即您的 Product(产品 ID?)的唯一键。

    【讨论】:

    • 啊,那么您建议选项 2,然后呢?我对此很好,但如果我得到一个列表,我必须为结果中的每个项目访问一次数据库以获取完整的详细信息,或者有一个潜在的大量 IN ([PK]) 声明,我从点击数。我可能会用它来回答我自己的问题,看看是否有任何投票表明我在正确的路线上 - 感谢您让我的大脑正常工作! :)
    • 视情况而定——这种方法是为了优化搜索性能,而不是显示性能。但总的来说,尤其是使用分页结果视图时,与炸毁 lucene 索引相比,一次检索一些产品详细信息的点击可以忽略不计
    【解决方案2】:

    我一直试图找出同样的问题,但我认为它的工作量太大。我认为这是一个替代方案。如果我的想法有误请指正!

    你的情况是这样的: RDBMS 产品(很多)(很多)客户

    我建议不要只将客户放在 lucene 索引中以获取产品密钥,然后使用 IN Query 查询 RDBMS,而是使用 Product 和 Customer 的笛卡尔积创建 lucene 索引。

    喜欢 客户_1,产品_1 客户_1,产品_2 客户_2,产品_2..

    这样,当您在 lucene 中搜索产品时,它会同时提供客户和产品 id.. 而不是将它们加入 RDBMS,您可以简单地查找这些客户以及产品如果需要,请从 RDBMS 获得更多信息。如果您使用缓存,那么额外的详细信息查找成本也会下降。

    【讨论】:

    • 我喜欢这个主意。我明白你的意思——首先将更多信息放在索引中。它确实需要更多的前瞻性思考,但如果有一种在应用升级时以这种方式重建或更新索引的好方法,那么它应该可以正常工作。
    【解决方案3】:

    基于BrokenGlass's answer,我想了更多,并提出以下建议,看看我是否正确:

    基本上,进一步采用选项 2,可以执行以下操作:

    1. 仅将您要搜索的数据放入 Lucene 索引中,外加某种键值(例如数据库中表的 PK)。
    2. 查询 Lucene 以获取命中列表。
    3. 使用您选择的数据访问层,为您的数据库构建一个包含IN (value [, value]) 谓词的查询。
    4. 从您的数据库中获取该查询的结果(很可能包括JOINs 到其他表)。
    5. 将这些结果放入字典中,使用结果集的 PK 作为键。
    6. 按顺序再次迭代 Lucene 匹配项,使用 PK 从字典中提取项目,以便您可以按照 Lucene 返回匹配项的顺序(即按相关性排序)构建结果列表。
    7. 向用户显示“排序”的结果列表。

    当然,第 5 步和第 6 步可能会更好,但为了便于解释,我将那个冗长的方法放在我的描述中。如果 Lucene 命中包含某种“相关性”值,那么您可以将其归因于结果集并执行标准排序,但这只是读者的练习。 :)

    会是这样吗?

    【讨论】:

    • 这是我建议使用 Lucene 搜索“大型”数据集的方法 - 如果您没有那么多数据,您不妨将所有内容都放入索引中,而不必担心- 如果你确实想扩展,你必须最小化索引。
    猜你喜欢
    • 2018-10-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-03-30
    • 1970-01-01
    • 2016-10-22
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多