具有巨大 mysql 结果集的 logstash

Question

我正在处理从 MySQL 到 elasticsearch 的复制数据，所以我正在使用 logstash 进行复制，但问题是在 mysql 中有一个产品表有很多关系，并且选择查询包含 46 个左外连接，因此返回了结果非常巨大，它只为表产品的单个记录返回大约 50000（50k）行，这使得复制性能很慢，所以我需要询问是否有其他解决方案可以进行复制以及如何解决巨大的性能问题结果

产品样本及其关系（不是全部）：

这就是弹性搜索映射：

Answer 1

您需要利用 mysql 中的 json datatype。这里的范例是在实际索引过程之前处理所有这些漂亮的数据。您运行一个存储过程来处理数据并将其存储在一个大的平面表中。您的所有关系都存储为 json 字段中的 json 对象（当然，当它有意义时）。然后在 elasticsearch 中将这些关系索引为nested datatypes。然后，您可以对其进行聚合以获得所需的结果。像魅力一样工作！

例如：

INSERT prod.id,
...,
(SELECT JSON_ARRAYAGG(JSON_OBJECT('color', color, 'size', size)) FROM tag_products where prod.id = tprod.product_id) AS tag_product_as_json,
INTO Elastic_Products FROM Products AS prod
LEFT JOIN tag_product AS tprod ON prod.id = tprod.product_id
...

我更喜欢 SQL Server，如果您发现语法有任何错误，请见谅。 tag_product_as_json 将是 json 数据类型，并且将包含具有相同 product_id 的所有行。你可以在那里存储很多行。 这个例子非常基础。您可以使用公用表表达式以更节省内存的方式获得类似的结果，但它更复杂并且超出了本主题的范围。