【问题标题】:Solr DIH - Small index still take time?Solr DIH - 小指数还需要时间吗?
【发布时间】:2013-05-22 18:37:04
【问题描述】:

情况就是这样,我的数据导入处理程序中有两个数据源,一个很大,另一个很小:

Source A: 10-20 records 
Source B: 50,000,000 records 

我想知道如果我每 10 分钟在源 A 上执行一次 DIH,并且每 24 小时只在源 B 上运行一次 DIH,会发生什么情况。

在源 A 上运行我的 DIH 会非常快,因为我们正在导入的数据很小,还是仍然很耗时,因为它必须重建整个 SOLR 的索引(即 50,000,010 条记录)。

谢谢!

【问题讨论】:

  • 你说的是不同的 SOLR 内核吗?
  • 全部在同一个核心上,因为我希望将它们作为一个进行搜索,但只需从两个不同的来源获取数据。

标签: java performance search solr lucene


【解决方案1】:

在源 A 上运行我的 DIH 会非常快,因为数据 我们正在导入的内容很小,或者仍然很耗时, 因为它必须重建整个 SOLR 的索引(即 50,000,010 条记录)。

如果您只更新 10 - 20 条记录而不是 50,000,010 条记录,则从 Source1 到您的索引的数据导入应该快速

您可以通过在数据导入期间提供实体名称来做到这一点,如下所示:

http://localhost:8080/solr/collection1/dataimport?command=full-import&entity=Source1

即使对于这 10 到 20 条记录,在执行初始 full-import 之后,您也可以在后续调用中执行 delta-import

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-04-04
    • 2014-01-27
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多