使用 elasticsearch-river-mysql 将数据从 MySQL 数据库流式传输到 Elasticsearch

Question

我想使用elasticsearch-river-mysql 来不断地将数据从 MySQL 数据库传输到 ElasticSearch。我是 ES 和 Rivers 的初学者，所以我希望你能帮助我解决我的问题。

1. 据我所知，数据将从 MySQL 数据库流式传输到 ES 集群，ES 集群将自动对其进行索引。那是对的吗？我必须注意任何超时或限制吗？
2. 关系数据库表之间的外键关系如何翻译成ES？包含外键的表行会成为 ES 文档的内部对象，还是会使用 ES 文档之间的某种其他关系？
3. 将这条河流用于上述目的有什么缺点吗？
4. 实施这个会给 ES 带来什么负载？我认为 ES 足够强大，但我仍然想知道。在这种情况下，在 ES 集群上进行的搜索是否会受到影响？

Answer 1

我的建议是尝试使用elasticsearch-jdbc-river，原因有很多。

其中之一是elasticsearch-jbdc-river 更通用，以防您决定切换RDBMS。

另一个是 jbdc-river 在另一个 2 年没有维护的情况下仍然保持不变，从那时起 Elasticsearch 发展了很多。

1.据我所知，数据将从 MySQL 数据库流式传输到 ES 集群，ES 集群将自动对其进行索引。那是对的吗？我必须注意任何超时或限制吗？

来自 MySQL 的数据应该自动从 MySQL 流式传输到 Elasticsearch 集群，没有超时限制，但瓶颈将是您的 JVM 堆大小。我不确定你需要多少数据来处理你拥有的数据量。你需要测试一下。

2。关系数据库表之间的外键关系如何翻译成ES？包含外键的表行会成为 ES 文档的内部对象，还是会使用 ES 文档之间的某种其他关系？

Elasticsearch 是无模式的，因此您需要 manage to the inside Elasticsearch。河流只是将数据流式传输到您的集群中。您可以在创建索引时定义映射，然后使用河流将其流式传输到 ES 集群。

3.将这条河用于上述目的有什么缺点吗？

河流将被替换为另一种更清洁的方式来传输这些数据，但这是您目前拥有的最佳解决方案。