SOLR DIH 增量导入与更新

Question

我有一个存储在不断更新的 SQL 数据库中的大数据。我需要找到更新 Solr 索引的最佳方法，注意我有太多的表关系，例如 Product、ProductDetails、ProductStocks ... 等。

似乎有两种解决方案：

1) DIH deltaQueryImport - 查询数据库中所有LastUpdated大于last_index_time的记录，然后将这些记录导入Solr进行索引，DIH每30分钟调度一次，调度期间的数据尚未反映，由于更新的记录数量，查询花费了太多时间。

2) 任务队列 - 每次在数据库中更新产品时，我们都会排队一个任务以将该记录索引到 Solr。

只想了解您的建议以及每种方法的优缺点？

Answer 1

我参与了一个类似场景的项目。我们决定实施您的第二个解决方案。 推比拉解决方案更可取。通过推送解决方案，您可以实现近乎实时的更新，这通常对企业来说是一大优势。

但使用此解决方案，您需要考虑以下几点：

1. 批量初始加载。
2. 队列大小（如果您有批量更新）。